어떤 하드웨어에서나 모든 AI 모델을 로컬로 실행하는 오픈소스 엔진
중간맛 분석
Go로 개발된 경량 코어에 llama.cpp, vLLM, whisper.cpp, stable-diffusion 등의 전문 엔진을 백엔드로 연결하는 구조입니다. OpenAI, Anthropic, ElevenLabs 호환이므로 기존 도구나 코드를 쉽게 전환할 수 있습니다. 텍스트 생성, 이미지·음성 처리, 비전, 객체 감지, RAG, 에이전트, MCP 지원으로 복잡한 AI 워크플로우를 구성할 수 있으며, macOS 앱, 등 여러 배포 방식을 제공합니다. 설치 난이도는 중간 정도(2-3/5)이고 문서가 풍부합니다.
이런 레포예요
이럴 때 쓰면 좋아요
- 인터넷 연결 없이 회사 내부 데이터로 AI 분석 및 채팅
- GPU 없는 라즈베리파이나 에지 디바이스에서 경량 모델 실행
- OpenAI API를 쓰던 애플리케이션을 로컬 자체 관리로 전환
- 음성·이미지·텍스트를 포함한 멀티모달 파이프라인 구축
핵심 기능
대안 대비 차별점
경량 Go 코어에 OCI 기반 백엔드를 필요할 때만 동적으로 로드하는 구조로, Ollama나 일반적인 로컬 LLM 솔루션 대비 설치 공간·메모리 효율, 확장성, 프로덕션 분산 모드 지원(수평 확장, 멀티유저, 에이전트 오케스트레이션)에서 우월합니다.
먹어본 사람들
실제로 차려 먹어본 손님들의 흔적이에요 — 한마디와 완주 인증 모두 검수 후 공개돼요.
이 레포, 해먹는 법
처음 오셨어요? 어렵지 않아요 — 위에서 아래로 따라 하면 내 컴퓨터에 이 레포를 차려서 바로 맛볼 수 있어요.
준비물
- Docker 또는 Podman
- 선택사항: GPU(NVIDIA/AMD/Intel) 또는 CPU만으로도 동작
바로 차려먹기Go
깃밥이 레포 구조를 확인하고 만든 실행 명령이에요. 터미널에 붙여넣으면 받기부터 실행까지 한 번에 진행돼요.
git clone --depth 1 https://github.com/mudler/LocalAI.git && cd LocalAI && go run .
코드는 내 컴퓨터에서 실행돼요 — 처음 보는 레포라면 내용을 한번 훑어보고 실행하는 습관을 추천해요.
README가 안내하는 자세한 단계 보기
- LocalAI 설치(macOS 또는 컨테이너 선택)
docker run -ti --name local-ai -p 8080:8080 localai/localai:latest
- 모델 다운로드 및 실행 (모델 갤러리에서)
local-ai run llama-3.2-1b-instruct:q4_k_m
- 또는 Huggingface에서 모델 불러오기
local-ai run huggingface://TheBloke/phi-2-GGUF/phi-2.Q8_0.gguf
- 다른 터미널에서 터미널 에이전트 시작
local-ai chat --model llama-3.2-1b-instruct:q4_k_m
- 또는 Python/다른 언어에서 OpenAI 호환 API로 접근
curl http://localhost:8080/v1/completions -X POST -d '{"model": "llama-3.2-1b-instruct", "prompt": "Hi!"}'
깃밥트라이로 맛보기
받아보기 귀찮고 살짝 불안했다면 — 안전 스캔부터 설치까지 터미널 한 줄로 끝나요.
터미널에 붙여넣으면 깃밥 안전 스캔 → 격리 폴더 clone → 설치 → 실행법 안내까지 자동이에요. 처음이어도 괜찮아요 — 이 한 줄이 전부예요.
npx gitbap-try mudler/LocalAI
Node.js만 있으면 설치 없이 실행돼요 · 깃밥트라이가 뭐예요? →
이걸로 써먹는 법
맛봤다면 이제 써먹을 차례 — 이 레포를 내 일과 사업에 응용하는 방법을 모아뒀어요.
🍳 레시피 — AI에게 이대로 시켜보세요
레시피 불러오는 중…
별 추이 · 7일
활용성 · 따라 만들기 좋은가
- 관대한 라이선스
- 테스트 있음
- 예제 디렉토리
- 최근 활동
- AGENTS.md
- llms.txt
- 템플릿
🟢 최근 활동 있음 · 2023년 생성
「AI 미디어 생성」 이런 레포, 매주 받아보실래요?
매주 월요일 아침, 골라 담은 밥상만. 광고 없이 · 언제든 해지.
내 레포인가요? README에 깃밥 배지 달기
[](https://www.gitbap.com/r/mudler/LocalAI)🔌 클로드에서 바로 써보기 — 깃밥 연결하는 법
깃밥을 클로드에 연결하면 이런 레포를 클로드·커서·Codex에서 바로 찾고 체험할 수 있어요.
클로드 설정 → 커넥터에 이 주소를 붙여넣기.
https://www.gitbap.com/api/mcp플러그인을 설치하면 /gitbap-trending·/gitbap-try 슬래시 커맨드로 레포를 그 자리에서 체험. Claude Code에서 아래 두 줄을 차례로 실행하세요.
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI가 README 기반으로 요약했습니다 · 원문 보기