大規模言語モデル（LLM）の推論と配信を行うライブラリで、OpenAI互換APIサーバーとしても使えます。
優良食堂ギット飯が実際に動かして検証し、選んだリポジトリです解説ページへ →中辛 の解説
大規模言語モデルの推論を高速に行い、OpenAI互換API、Anthropic Messages API、gRPCで配信するライブラリです。READMEでは、PagedAttentionによるKVキャッシュ管理、連続バッチ処理、プレフィックスキャッシュなどが挙げられています。Hugging Faceの200以上のモデル構成に対応し、Llama、Qwen、DeepSeek-V3などを扱えると説明されています。導入はuvを推奨しています。uvを選ぶ場合は uv pip install vllm を実行します。pipも別の選択肢として挙げられていますが、そのコマンドは抜粋にありません。開発用にはソースからのビルドも案内されていますが、手順はこの抜粋には含まれていません。
こんなリポジトリです
こんなときに便利です
- OpenAI互換のAPIを通じてLLMを配信し、APIサーバーとして提供したい場合
- 複数のGPUでモデルを動かす際に、テンソル並列などの分散推論を使いたい場合
- 同じベースモデルに複数のLoRAを適用して配信したい場合（multi-LoRA対応）
主な機能
このリポジトリの作り方
はじめてですか？ むずかしくありません — 上から順にたどれば、自分の環境で動かして味見できます。
準備するもの
- uvでインストールする場合は、uvを用意する必要があります（READMEで推奨される導入方法）。
すぐに始める
- uvを使ってvLLMをインストールします（READMEで推奨されている方法です）。
uv pip install vllm
この抜粋には、インストール後の実行コマンドは含まれていません。
ギット飯トライで味見
入れるのが面倒で少し不安だったなら — 安全スキャンからインストールまで、ターミナル一行で終わります。
ターミナルに貼り付ければ、ギット飯の安全スキャン → 隔離フォルダへ clone → インストール → 実行方法の案内まで自動です。はじめてでも大丈夫 — この一行だけです。
npx gitbap-try vllm-project/vllm
Node.js さえあれば、インストールなしで動きます · ギット飯トライとは？ →
スター推移 · 7日
確認日時
使いやすさ · まねしやすいか
- ゆるいライセンス
- テストあり
- サンプル集
- 最近の更新
- AGENTS.md
- llms.txt
- テンプレート
最近の更新あり · 2023 年に作成
「LLM ツール・RAG」 こういうリポジトリを毎週受け取りませんか？
毎週月曜の朝、選んだ一膳だけ。広告なし · いつでも解除。
自分のリポジトリですか？ README にギット飯バッジを貼る
[](https://www.gitbap.com/r/vllm-project/vllm)Claude からそのまま使う — ギット飯のつなぎ方
ギット飯を Claude につなぐと、こうしたリポジトリを Claude・Cursor・Codex から直接さがして試せます。
Claude の設定 → コネクタにこのアドレスを貼り付け。
https://www.gitbap.com/api/mcpプラグインを入れると /gitbap-trending·/gitbap-try のスラッシュコマンドで、その場でリポジトリを試せます。Claude Code で下の 2 行を順に実行してください。
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI が README をもとに要約しました · 原文を見る