mudler/LocalAI
로컬에서 GPU 없이 모든 AI 모델(LLM, 비전, 음성, 이미지)을 OpenAI API 호환으로 실행하는 오픈소스 엔진
47,222+144이번 주0 찜
4,182포크131이슈
중간맛 분석
스택: Go 기반 핵심 + llama.cpp, vLLM, Whisper.cpp, Stable Diffusion 등 60+ 모듈형 백엔드를 온디맨드로 OCI 이미지로 설치. 난이도: 입문자는 DMG/로 1분 설치 가능. 바로 쓸 수 있는가: 네—모델 갤러리에서 local-ai run llama-3.2-1b-instruct:q4_k_m 한 줄로 시작. 데모: 웹UI, 터미널 대화형 채팅(local-ai chat), 비디오 내장. 멀티모달: 텍스트, 음성, 이미지, 비디오 생성/인식이 하나의 뒤에 통합됨. 멀티유저: 키, 사용자 할당량, 역할 기반 접근 제어.
이런 레포예요
이럴 때 쓰면 좋아요
- 프라이빗 LLM 서버를 온프레미스에 구축하고 클라우드 API 비용 절감
- 음성/이미지/텍스트를 한 API로 처리하는 멀티모달 AI 앱 개발
- 여러 팀에게 로컬 AI 자원을 할당량 제한으로 공유
- GPU 없이 MacBook이나 라즈베리파이급 장비에서 경량 모델 배포
핵심 기능
60+ 모듈형 백엔드 온디맨드 설치 (llama.cpp, vLLM, Whisper 등)OpenAI/Anthropic/ElevenLabs API 완전 호환분산 클러스터 모드 + 멀티유저 + API 키 및 할당량 관리텍스트/음성/이미지/비디오 생성 및 인식을 단일 플랫폼에서 처리
대안 대비 차별점
모듈화된 백엔드 아키텍처(필요한 것만 설치)와 완전한 엔터프라이즈급 분산 플랫폼(다중 사용자, 할당량, MCP/RAG 에이전트)을 결합하여 Ollama의 단순성과 클라우드 API의 기능성을 동시에 제공합니다.
준비물
- Docker (또는 Podman)
- 8GB 이상 RAM (CPU 모드) 또는 NVIDIA/AMD/Intel GPU (옵션)
- 인터넷 연결 (모델 다운로드용)
바로 시작하기
- Docker로 CPU 전용 시작 (또는 GPU 옵션 참고)
docker run -ti --name local-ai -p 8080:8080 localai/localai:latest
- 모델 다운로드 및 실행 (로컬 터미널에서, LocalAI는 8080 포트에서 실행 중)
local-ai run llama-3.2-1b-instruct:q4_k_m
- 다른 터미널에서 대화형 채팅 시작
local-ai chat --model llama-3.2-1b-instruct:q4_k_m
- 또는 웹 브라우저에서
http://localhost:8080접속하여 UI 사용
별 추이 · 7일
47,222+144 / 7일
활용성 · 따라 만들기 좋은가
베스트 샘플샘플 점수 80/100
- 관대한 라이선스
- 테스트 있음
- 예제 디렉토리
- 최근 활동
- AGENTS.md
- llms.txt
- 템플릿
🟢 최근 활동 있음 · 2023년 생성
이 레포에 깃밥 배지 달기
[](https://www.gitbap.com/r/mudler/LocalAI)🔌 클로드에서 바로 써보기
깃밥을 클로드에 연결하면 이런 레포를 클로드·커서·Codex에서 바로 찾고 체험할 수 있어요.
방법 ① 커넥터 URL
클로드 설정 → 커넥터에 이 주소를 붙여넣기.
https://www.gitbap.com/api/mcp방법 ② 플러그인 (체험까지)
플러그인을 설치하면 /gitbap-trending·/gitbap-try 슬래시 커맨드로 레포를 그 자리에서 체험. Claude Code에서 아래 두 줄을 차례로 실행하세요.
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI가 README 기반으로 요약했습니다 · 원문 보기