내 GPU에서 321억 파라미터 AI 모델을 실행하는 로컬 추론 엔진
중간맛 분석
321억 파라미터 GLM-5.3-Flash 모델을 로컬 GPU에서 추론하는 완성 엔진으로, 대규모 모델을 개인 하드웨어에서 실행한다. setup.sh 한 줄로 설치하면 브라우저 채팅, OpenAI/Anthropic 호환, 병렬 요청 처리(최대 8개 동시), 이미지 분석, 유연한 컨텍스트 크기 조정이 바로 가능하다. GPU(V100 이상), 32GB 이상 RAM, NVMe SSD, CUDA 12.x가 필수이며, 칼리브레이션으로 자신의 하드웨어에 자동 최적화된다. C++ 기반 엔진은 전문가 계층(혼합 전문가 구조)을 GPU·RAM·SSD에 분산하여 최대 16개 GPU까지 확장 가능하다.
이런 레포예요
이럴 때 쓰면 좋아요
- OpenAI·Anthropic API를 사용하던 기존 애플리케이션을 로컬 LLM으로 대체하여 비용 절감과 데이터 프라이버시 확보
- 코딩 에이전트가 도구 호출(tool call)을 스트리밍으로 처리하는 로컬 LLM 백엔드로 활용
- 이미지와 텍스트를 함께 처리하는 멀티모달 채팅을 한 대의 고성능 GPU에서 다중 사용자 지원
핵심 기능
대안 대비 차별점
321억 파라미터 GLM-5.3-Flash 모델 전용 양자화(97.7-99.2% 정확도 유지)와 전문가 메모리 계층화로 단일 GPU에서 초당 30+ 토큰 추론 가능.
먹어본 사람들
실제로 차려 먹어본 손님들의 흔적이에요 — 한마디와 완주 인증 모두 검수 후 공개돼요.
이 레포, 해먹는 법
처음 오셨어요? 어렵지 않아요 — 위에서 아래로 따라 하면 내 컴퓨터에 이 레포를 차려서 바로 맛볼 수 있어요.
준비물
- NVIDIA GPU (compute capability 7.0 이상, V100·RTX 20 이상) 또는 AMD GPU (실험)
- 32GB 이상 RAM
- 100GB 이상의 빠른 NVMe SSD
- Linux x86-64 (AVX2 지원 CPU 권장) 또는 Windows 10/11 (실험)
- NVIDIA 드라이버, CUDA 12.x, g++, Python 3.10+
- AMD의 경우 ROCm 7
바로 차려먹기Python (uv)
깃밥이 레포 구조를 확인하고 만든 실행 명령이에요. 터미널에 붙여넣으면 받기부터 실행까지 한 번에 진행돼요.
git clone --depth 1 https://github.com/mw00/project-maya.git && cd project-maya && uv pip install -e .
uv가 없다면: brew install uv · 실행 명령은 README를 확인하세요.
코드는 내 컴퓨터에서 실행돼요 — 처음 보는 레포라면 내용을 한번 훑어보고 실행하는 습관을 추천해요.
README가 안내하는 자세한 단계 보기
- 레포 클론 후 디렉토리 이동
git clone https://github.com/mw00/project-maya.git && cd project-maya
- setup.sh 실행 (질문에 답변, 권장값은 Enter 선택)
./setup.sh
- 빌드 완료 후 자동 시작되며, 브라우저에서 http://127.0.0.1:8080 접속
Windows 사용자 대신: START-MAYA.bat 실행
START-MAYA.bat
기존 설정 업데이트: git pull 후 setup.sh 재실행 (모델은 다시 다운로드되지 않음)
git pull && ./setup.sh
깃밥트라이로 맛보기
받아보기 귀찮고 살짝 불안했다면 — 안전 스캔부터 설치까지 터미널 한 줄로 끝나요.
터미널에 붙여넣으면 깃밥 안전 스캔 → 격리 폴더 clone → 설치 → 실행법 안내까지 자동이에요. 처음이어도 괜찮아요 — 이 한 줄이 전부예요.
npx gitbap-try mw00/project-maya
Node.js만 있으면 설치 없이 실행돼요 · 깃밥트라이가 뭐예요? →
별 추이 · 7일
확인 시각
활용성 · 따라 만들기 좋은가
- 관대한 라이선스
- 테스트 있음
- 예제 디렉토리
- 최근 활동
- AGENTS.md
- llms.txt
- 템플릿
🟢 최근 활동 있음 · 2026년 생성
「LLM 도구·RAG」 이런 레포, 매주 받아보실래요?
매주 월요일 아침, 골라 담은 밥상만. 광고 없이 · 언제든 해지.
내 레포인가요? README에 깃밥 배지 달기
[](https://www.gitbap.com/r/mw00/project-maya)🔌 클로드에서 바로 써보기 — 깃밥 연결하는 법
깃밥을 클로드에 연결하면 이런 레포를 클로드·커서·Codex에서 바로 찾고 체험할 수 있어요.
클로드 설정 → 커넥터에 이 주소를 붙여넣기.
https://www.gitbap.com/api/mcp플러그인을 설치하면 /gitbap-trending·/gitbap-try 슬래시 커맨드로 레포를 그 자리에서 체험. Claude Code에서 아래 두 줄을 차례로 실행하세요.
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI가 README 기반으로 요약했습니다 · 원문 보기