중간맛 분석
스택: Go 기반 코어 + llama.cpp, vLLM, whisper.cpp, stable-diffusion 등 60+ 백엔드 (OCI 이미지로 온디맨드 설치). 난이도: 초급~중급. 바로 쓸 수 있나: 맞습니다. 공식 UI, OpenAI 호환 , 터미널 에이전트 포함. 데모: macOS 앱, 지원 (CPU/NVIDIA/AMD/Intel/Vulkan), Huggingface·Ollama 모델 직접 로드 가능. 사용자 인증, 키, 쿼터 관리, 분산 모드까지 내장.
이런 레포예요
이럴 때 쓰면 좋아요
- GPU 없이 자신의 로컬 머신에서 프라이빗 AI 서비스 운영
- 팀 규모로 여러 사용자의 AI 모델 접근을 관리하고 사용량 추적
- 음성, 이미지, 텍스트를 한 플랫폼에서 처리하는 멀티모달 AI 파이프라인 구축
핵심 기능
대안 대비 차별점
경량 코어가 필요한 백엔드만 동적으로 로드하면서도 음성 감지, 얼굴 인식 같은 자체 개발 네이티브 C++ 엔진을 포함하여 의존성 최소화와 기능 풍부함을 동시에 달성합니다.
먹어본 사람들
실제로 차려 먹어본 손님들의 흔적이에요 — 한마디와 완주 인증 모두 검수 후 공개돼요.
이 레포, 해먹는 법
처음 오셨어요? 어렵지 않아요 — 위에서 아래로 따라 하면 내 컴퓨터에 이 레포를 차려서 바로 맛볼 수 있어요.
바로 차려먹기Go
깃밥이 레포 구조를 확인하고 만든 실행 명령이에요. 터미널에 붙여넣으면 받기부터 실행까지 한 번에 진행돼요.
git clone --depth 1 https://github.com/mudler/LocalAI.git && cd LocalAI && go run .
코드는 내 컴퓨터에서 실행돼요 — 처음 보는 레포라면 내용을 한번 훑어보고 실행하는 습관을 추천해요.
README가 안내하는 자세한 단계 보기
- Git 저장소 클론
git clone https://github.com/mudler/LocalAI.git
cd LocalAI
- macOS 앱 다운로드 또는 Docker로 실행
# CPU만 사용
docker run -ti --name local-ai -p 8080:8080 localai/localai:latest
# NVIDIA GPU (CUDA 13)
docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-13
# AMD GPU (ROCm)
docker run -ti --name local-ai -p 8080:8080 --device=/dev/kfd --device=/dev/dri --group-add=video localai/localai:latest-gpu-hipblas
- 모델 로드 및 실행
local-ai run llama-3.2-1b-instruct:q4_k_m
local-ai run huggingface://TheBloke/phi-2-GGUF/phi-2.Q8_0.gguf
local-ai run ollama://gemma:2b
- 다른 터미널에서 채팅 시작 (선택사항)
local-ai chat --model llama-3.2-1b-instruct:q4_k_m
깃밥트라이로 맛보기
받아보기 귀찮고 살짝 불안했다면 — 안전 스캔부터 설치까지 터미널 한 줄로 끝나요.
터미널에 붙여넣으면 깃밥 안전 스캔 → 격리 폴더 clone → 설치 → 실행법 안내까지 자동이에요. 처음이어도 괜찮아요 — 이 한 줄이 전부예요.
npx gitbap-try mudler/LocalAI
Node.js만 있으면 설치 없이 실행돼요 · 깃밥트라이가 뭐예요? →
이걸로 써먹는 법
맛봤다면 이제 써먹을 차례 — 이 레포를 내 일과 사업에 응용하는 방법을 모아뒀어요.
🍳 레시피 — AI에게 이대로 시켜보세요
레시피 불러오는 중…
별 추이 · 7일
확인 시각
활용성 · 따라 만들기 좋은가
- 관대한 라이선스
- 테스트 있음
- 예제 디렉토리
- 최근 활동
- AGENTS.md
- llms.txt
- 템플릿
🟢 최근 활동 있음 · 2023년 생성
「AI 미디어 생성」 이런 레포, 매주 받아보실래요?
매주 월요일 아침, 골라 담은 밥상만. 광고 없이 · 언제든 해지.
내 레포인가요? README에 깃밥 배지 달기
[](https://www.gitbap.com/r/mudler/LocalAI)🔌 클로드에서 바로 써보기 — 깃밥 연결하는 법
깃밥을 클로드에 연결하면 이런 레포를 클로드·커서·Codex에서 바로 찾고 체험할 수 있어요.
클로드 설정 → 커넥터에 이 주소를 붙여넣기.
https://www.gitbap.com/api/mcp플러그인을 설치하면 /gitbap-trending·/gitbap-try 슬래시 커맨드로 레포를 그 자리에서 체험. Claude Code에서 아래 두 줄을 차례로 실행하세요.
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI가 README 기반으로 요약했습니다 · 원문 보기