BerriAI/litellm
100+ LLM 공급자를 단일 OpenAI 형식 인터페이스로 통합한 오픈소스 AI 게이트웨이
52,767+627이번 주0 찜
9,516포크1,399이슈
중간맛 분석
스택: Python 기반 LLM 통합 플랫폼 (Python + Proxy Server 이중 구조). 난이도: 중간 수준 — 기본 설정은 쉽지만, 프로덕션 배포(Terraform, 관리 대시보드 운영)는 고급 지식 필요. 바로 쓸 수 있는가: 네. Python 는 uv add litellm 후 즉시 사용 가능하고, AI Gateway는 litellm --model gpt-4o 한 줄로 시작 가능. 데모: 에 OpenAI/Anthropic 호출 예제 코드, A2A Agent 통합, MCP 도구 연결 예제 포함. AWS/GCP/Railway 원클릭 배포 버튼 제공.
이런 레포예요
이럴 때 쓰면 좋아요
- 여러 LLM 제공자(OpenAI, Anthropic, Bedrock 등)를 통합하여 한 API로 관리하고 공급자 간 빠른 전환이 필요한 경우
- 팀 전체의 LLM 호출을 중앙 게이트웨이에서 인증, 비용 추적, 속도 제한으로 제어하고 싶은 경우
- A2A Agent나 MCP 도구를 LLM과 함께 오케스트레이션하며 단일 인터페이스로 관리하고 싶은 경우
핵심 기능
100+ LLM 공급자 통합 및 OpenAI 형식 통일 인터페이스AI Gateway(Proxy Server)의 가상 키, 스펜드 트래킹, 로드 밸런싱, Admin UIA2A Agent 프로토콜 및 MCP 도구 게이트웨이 기본 지원
대안 대비 차별점
OpenAI 형식 drop-in 호환성으로 코드 변경 없이 100+ LLM 간 전환 가능하며, LLM 특화 프로덕션 게이트웨이(가상 키, 비용 추적, 로드 밸런싱) 및 A2A Agent/MCP 통합을 동시에 제공하는 통합 플랫폼입니다.
준비물
- Python 3.7 이상
- LLM 공급자 API 키 (OpenAI, Anthropic 등 중 최소 1개)
바로 시작하기
- Python SDK 설치
uv add litellm
- API 키 환경변수 설정
export OPENAI_API_KEY="your-openai-key"
export ANTHROPIC_API_KEY="your-anthropic-key"
- Python 코드 작성 및 실행
from litellm import completion
import os
# OpenAI 호출
response = completion(model="openai/gpt-4o", messages=[{"role": "user", "content": "Hello!"}])
# Anthropic 호출
response = completion(model="anthropic/claude-sonnet-4-20250514", messages=[{"role": "user", "content": "Hello!"}])
- AI Gateway(Proxy Server) 설치
uv tool install 'litellm[proxy]'
- Proxy 서버 시작
litellm --model gpt-4o
- Proxy를 통해 OpenAI 클라이언트로 호출
import openai
client = openai.OpenAI(api_key="anything", base_url="http://0.0.0.0:4000")
response = client.chat.completions.create(
model="gpt-4o",
messages=[{"role": "user", "content": "Hello!"}]
)
별 추이 · 7일
52,767+627 / 7일
활용성 · 따라 만들기 좋은가
베스트 샘플샘플 점수 60/100
- 관대한 라이선스
- 테스트 있음
- 예제 디렉토리
- 최근 활동
- AGENTS.md
- llms.txt
- 템플릿
🟢 최근 활동 있음 · 2023년 생성
이 레포에 깃밥 배지 달기
[](https://www.gitbap.com/r/BerriAI/litellm)🔌 클로드에서 바로 써보기
깃밥을 클로드에 연결하면 이런 레포를 클로드·커서·Codex에서 바로 찾고 체험할 수 있어요.
방법 ① 커넥터 URL
클로드 설정 → 커넥터에 이 주소를 붙여넣기.
https://www.gitbap.com/api/mcp방법 ② 플러그인 (체험까지)
플러그인을 설치하면 /gitbap-trending·/gitbap-try 슬래시 커맨드로 레포를 그 자리에서 체험. Claude Code에서 아래 두 줄을 차례로 실행하세요.
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI가 README 기반으로 요약했습니다 · 원문 보기