Mac에서 125억 파라미터 혼합 전문가 모델을 SSD 스트리밍으로 실행하는 Swift 기반 로컬 LLM 엔진
중간맛 분석
Swift 단일 바이너리로 Apple Silicon Mac에서 105GB 모델을 로컬 실행. 메모리 관리가 핵심: 48GB Mac에서 12토큰/초 디코딩, 자동 메모리 할당(8GB 최소33GB 권장). MLX + Metal 기반 추론, Ollama/OpenAI 호환. 실제 설치/실행 가능하며 웹 UI(Open WebUI) 및 fx 에이전트 지원.
이런 레포예요
이럴 때 쓰면 좋아요
- 메모리 제약 있는 Mac에서 대규모 모델 로컬 운영
- Open WebUI나 기존 Ollama 클라이언트를 통한 AI 챗봇 구축
- fx 같은 에이전트 프레임워크와 로컬 모델 통합 개발
핵심 기능
대안 대비 차별점
Apple Silicon의 통합 메모리를 활용한 슬롯 기반 전문가 스트리밍 아키텍처로, 같은 메모리에서 llama.cpp보다 효율적인 혼합 전문가 모델 실행 가능.
먹어본 사람들
실제로 차려 먹어본 손님들의 흔적이에요 — 한마디와 완주 인증 모두 검수 후 공개돼요.
이 레포, 해먹는 법
처음 오셨어요? 어렵지 않아요 — 위에서 아래로 따라 하면 내 컴퓨터에 이 레포를 차려서 바로 맛볼 수 있어요.
준비물
- Apple Silicon Mac (M1 이상)
- macOS 14 이상
- 약 110GB 자유 디스크 공간
- 명령줄 도구(Xcode Command Line Tools) - 빌드 시만 필요
바로 시작하기
- 설치 스크립트 실행
curl -fsSL https://raw.githubusercontent.com/carloslfu/slotstream/main/install.sh | sh
- 머신 사양 확인 (디스크·메모리 충분한지)
slotstream doctor
- 모델 가중치 다운로드 (105GB, 16분~9시간 소요)
slotstream pull
- 빠른 테스트 (서버 없이 직접 실행)
slotstream run --prompt "why is the sky blue?"
- 서버 시작 (Ollama/OpenAI API 호환)
slotstream serve
- API 호출 테스트
curl localhost:11434/api/chat -d '{
"model": "qwen3.8-flash-next:4bit",
"messages": [{"role": "user", "content": "hello"}]
}'
깃밥트라이로 맛보기
받아보기 귀찮고 살짝 불안했다면 — 안전 스캔부터 설치까지 터미널 한 줄로 끝나요.
터미널에 붙여넣으면 깃밥 안전 스캔 → 격리 폴더 clone → 설치 → 실행법 안내까지 자동이에요. 처음이어도 괜찮아요 — 이 한 줄이 전부예요.
npx gitbap-try carloslfu/slotstream
Node.js만 있으면 설치 없이 실행돼요 · 깃밥트라이가 뭐예요? →
별 추이 · 7일
확인 시각
활용성 · 따라 만들기 좋은가
- 관대한 라이선스
- 테스트 있음
- 예제 디렉토리
- 최근 활동
- AGENTS.md
- llms.txt
- 템플릿
🟢 최근 활동 있음 · 2026년 생성
「LLM 도구·RAG」 이런 레포, 매주 받아보실래요?
매주 월요일 아침, 골라 담은 밥상만. 광고 없이 · 언제든 해지.
내 레포인가요? README에 깃밥 배지 달기
[](https://www.gitbap.com/r/carloslfu/slotstream)🔌 클로드에서 바로 써보기 — 깃밥 연결하는 법
깃밥을 클로드에 연결하면 이런 레포를 클로드·커서·Codex에서 바로 찾고 체험할 수 있어요.
클로드 설정 → 커넥터에 이 주소를 붙여넣기.
https://www.gitbap.com/api/mcp플러그인을 설치하면 /gitbap-trending·/gitbap-try 슬래시 커맨드로 레포를 그 자리에서 체험. Claude Code에서 아래 두 줄을 차례로 실행하세요.
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI가 README 기반으로 요약했습니다 · 원문 보기