LLM을 빠르고 효율적으로 추론·서빙하는 Python 라이브러리
중간맛 분석
vLLM은 LLM 추론 요청을 받아 빠르고 효율적으로 처리하는 Python 라이브러리입니다. PagedAttention으로 KV 캐시를 최적화하고, 연속 배칭, 청크 프리필, 프리픽스 캐싱으로 처리량을 극대화합니다. FP8, INT4, GPTQ, AWQ 등 다양한 양자화와 다중 LoRA 지원으로 메모리 효율을 높입니다. Llama, Qwen, DeepSeek, Mixtral 등 200개 이상의 Hugging Face 모델을 지원하며, NVIDIA·AMD·Intel GPU, x86/ARM CPU, Google TPU, Apple Silicon 등 광범위한 하드웨어에서 실행됩니다. OpenAI 호환 서버와 gRPC를 제공하므로 기존 애플리케이션과의 연동이 간단합니다. 텐서·파이프라인·데이터·전문가·컨텍스트 병렬 처리로 분산 추론을 지원하며, uv pip install vllm으로 설치해 바로 시작할 수 있습니다.
이런 레포예요
이럴 때 쓰면 좋아요
- Hugging Face의 다양한 LLM을 실시간으로 서빙하려는 개발팀의 추론 API 구축
- GPU 메모리가 제한된 환경에서 여러 모델을 효율적으로 운영하려는 시스템
- 배치 단위로 많은 양의 LLM 추론을 연속으로 처리해야 하는 데이터 분석 파이프라인
핵심 기능
대안 대비 차별점
PagedAttention 메모리 최적화와 NVIDIA·AMD·Intel GPU, TPU, CPU 등 광범위한 하드웨어 플랫폼 지원으로 확장성 있는 LLM 서빙 제공
먹어본 사람들
실제로 차려 먹어본 손님들의 흔적이에요 — 한마디와 완주 인증 모두 검수 후 공개돼요.
이 레포, 해먹는 법
처음 오셨어요? 어렵지 않아요 — 위에서 아래로 따라 하면 내 컴퓨터에 이 레포를 차려서 바로 맛볼 수 있어요.
준비물
- Python
바로 차려먹기Python (uv)
깃밥이 레포 구조를 확인하고 만든 실행 명령이에요. 터미널에 붙여넣으면 받기부터 실행까지 한 번에 진행돼요.
git clone --depth 1 https://github.com/vllm-project/vllm.git && cd vllm && uv sync
uv가 없다면: brew install uv · 실행 명령은 README를 확인하세요.
코드는 내 컴퓨터에서 실행돼요 — 처음 보는 레포라면 내용을 한번 훑어보고 실행하는 습관을 추천해요.
README가 안내하는 자세한 단계 보기
- uv(권장) 또는 pip로 vLLM 설치하기
uv pip install vllm
또는 pip 사용 시:
pip install vllm
- 빠른 시작을 위해 미리 컴파일된 커널 다운로드하기
vllm download-kernels
깃밥트라이로 맛보기
받아보기 귀찮고 살짝 불안했다면 — 안전 스캔부터 설치까지 터미널 한 줄로 끝나요.
터미널에 붙여넣으면 깃밥 안전 스캔 → 격리 폴더 clone → 설치 → 실행법 안내까지 자동이에요. 처음이어도 괜찮아요 — 이 한 줄이 전부예요.
npx gitbap-try vllm-project/vllm
Node.js만 있으면 설치 없이 실행돼요 · 깃밥트라이가 뭐예요? →
별 추이 · 7일
확인 시각
활용성 · 따라 만들기 좋은가
- 관대한 라이선스
- 테스트 있음
- 예제 디렉토리
- 최근 활동
- AGENTS.md
- llms.txt
- 템플릿
🟢 최근 활동 있음 · 2023년 생성
「LLM 도구·RAG」 이런 레포, 매주 받아보실래요?
매주 월요일 아침, 골라 담은 밥상만. 광고 없이 · 언제든 해지.
내 레포인가요? README에 깃밥 배지 달기
[](https://www.gitbap.com/r/vllm-project/vllm)🔌 클로드에서 바로 써보기 — 깃밥 연결하는 법
깃밥을 클로드에 연결하면 이런 레포를 클로드·커서·Codex에서 바로 찾고 체험할 수 있어요.
클로드 설정 → 커넥터에 이 주소를 붙여넣기.
https://www.gitbap.com/api/mcp플러그인을 설치하면 /gitbap-trending·/gitbap-try 슬래시 커맨드로 레포를 그 자리에서 체험. Claude Code에서 아래 두 줄을 차례로 실행하세요.
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI가 README 기반으로 요약했습니다 · 원문 보기