大規模言語モデルの推論・運用を高速で簡単に実現するPythonライブラリです。
中辛 の解説
Pythonスタック、難易度は中程度です。uv pip install vllmで即導入でき、OpenAI互換も提供するため、既存アプリと容易に統合できます。PagedAttention・連続バッチ処理・プレフィックスキャッシュなどの多数の最適化により、同じハードウェアでも従来比で大幅に高いスループットを実現します。NVIDIA・AMD・Intel GPU、Google TPU、Apple Siliconなど多様なハードウェアに対応し、分散推論も柔軟に構成でき、デモはドキュメントのクイックスタートで体験できます。
이런 레포예요
이럴 때 쓰면 좋아요
- 大規模言語モデルのAPIサーバーを本番環境で低遅延で運用する場合
- 複数のリクエストを同時処理しながら推論スループットを最大化したい場合
- 限られたGPUメモリで数百万トークンのプロンプトキャッシュを活用した推論を行う場合
핵심 기능
대안 대비 차별점
PagedAttentionとKVキャッシュページング機構により、メモリ利用効率と並列バッチ処理を根本的に改善し、他の推論フレームワークと比べて同一ハードウェア上での実現スループットが大幅に高い点が特徴です。
食べた人たち
実際に使ってみた人の記録です — 一言も完走の記録も、確認のうえで公開しています。
このリポジトリの作り方
はじめてですか？ むずかしくありません — 上から順にたどれば、自分の環境で動かして味見できます。
준비물
- Python 3.8以上
- GPU(NVIDIA・AMD・Intel)またはCPUサポート(x86・ARM・PowerPC)
- CUDA環境(NVIDIA GPU使用時)
すぐ動かしてみるPython (uv)
ギット飯がリポジトリの構成を確認して組み立てた実行コマンドです。ターミナルに貼り付ければ、取得から実行までまとめて進みます。
git clone --depth 1 https://github.com/vllm-project/vllm.git && cd vllm && uv sync
uv가 없다면: brew install uv · 실행 명령은 README를 확인하세요.
コードは自分の環境で動きます — はじめて見るリポジトリなら、中身にひととおり目を通してから実行するのがおすすめです。
README가 안내하는 자세한 단계 보기
- uvをインストールします。
curl -LsSf https://astral.sh/uv/install.sh | sh
- vLLMをインストールします。
uv pip install vllm
- Pythonスクリプトを作成して、モデルをロードして推論を実行します。
python -c "from vllm import LLM; llm = LLM('meta-llama/Llama-2-7b'); output = llm.generate('こんにちは、世界'); print(output)"
- OpenAI互換APIサーバーを起動します。
python -m vllm.entrypoints.openai.api_server --model meta-llama/Llama-2-7b
ギット飯トライで味見
入れるのが面倒で少し不安だったなら — 安全スキャンからインストールまで、ターミナル一行で終わります。
ターミナルに貼り付ければ、ギット飯の安全スキャン → 隔離フォルダへ clone → インストール → 実行方法の案内まで自動です。はじめてでも大丈夫 — この一行だけです。
npx gitbap-try vllm-project/vllm
Node.js さえあれば、インストールなしで動きます · ギット飯トライとは？ →
スター推移 · 7日
使いやすさ · まねしやすいか
- ゆるいライセンス
- テストあり
- サンプル集
- 最近の更新
- AGENTS.md
- llms.txt
- テンプレート
最近の更新あり · 2023 年に作成
「LLM 도구·RAG」 こういうリポジトリを毎週受け取りませんか？
毎週月曜の朝、選んだ一膳だけ。広告なし · いつでも解除。
自分のリポジトリですか？ README にギット飯バッジを貼る
[](https://www.gitbap.com/r/vllm-project/vllm)Claude からそのまま使う — ギット飯のつなぎ方
ギット飯を Claude につなぐと、こうしたリポジトリを Claude・Cursor・Codex から直接さがして試せます。
Claude の設定 → コネクタにこのアドレスを貼り付け。
https://www.gitbap.com/api/mcpプラグインを入れると /gitbap-trending·/gitbap-try のスラッシュコマンドで、その場でリポジトリを試せます。Claude Code で下の 2 行を順に実行してください。
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI が README をもとに要約しました · 原文を見る