모바일·웨어러블 기기에서 LLM·음성·비전 AI를 로컬에서 실행하는 하이브리드 엣지-클라우드 추론 엔진
중간맛 분석
C++로 만든 추론 엔진으로, ARM NEON SIMD 커널과 회전 기반 양자화(CQ4/CQ3/CQ2/CQ1) 기법으로 모바일 기기에 최적화됐습니다. Gemma, Whisper, Qwen 등 주요 모델을 지원하며, 1k 컨텍스트 LLM 추론 시 iPhone 15 Pro에서 초당 26 토큰, Mac M5에서 초당 154 토큰을 달성합니다. OpenAI 호환 , 도구 호출, RAG, 비전 능력을 갖추고 있으며, 실시간 음성 변환도 지원합니다. Python·Swift·Kotlin·Rust·Flutter·React Native 바인딩을 제공합니다.
이런 레포예요
이럴 때 쓰면 좋아요
- 오프라인 환경에서 스마트폰에 LLM을 설치해 개인 어시스턴트 구축
- 사용자 음성을 기기 내에서 즉시 변환하는 개인정보 보호형 음성 앱 개발
- 저대역폭 네트워크 환경에서 빠른 응답 필요 시 로컬 모델 우선 실행
핵심 기능
대안 대비 차별점
기존 엣지 추론 도구(llama.cpp, MLX)는 텍스트만 다루거나 양자화 선택지가 제한적인데, Cactus는 텍스트·음성·비전을 통합하고 신뢰도 기반 하이브리드 아키텍처로 자동 클라우드 핸드오프를 제공합니다.
먹어본 사람들
실제로 차려 먹어본 손님들의 흔적이에요 — 한마디와 완주 인증 모두 검수 후 공개돼요.
이 레포, 해먹는 법
처음 오셨어요? 어렵지 않아요 — 위에서 아래로 따라 하면 내 컴퓨터에 이 레포를 차려서 바로 맛볼 수 있어요.
준비물
- C++ 컴파일러
- CMake 3.16+
- Python 3.12+
- git
바로 시작하기
- Linux(Ubuntu/Debian)에서는 필요한 도구 설치
sudo apt-get install python3.12 python3.12-venv python3-pip cmake build-essential libcurl4-openssl-dev
- 저장소 클론 및 환경 설정
git clone https://github.com/cactus-compute/cactus && cd cactus
source ./setup
- 모델 실행 (자동 다운로드)
cactus run google/gemma-4-E2B-it
- (선택) OpenAI 호환 서버 시작
cactus serve google/gemma-4-E2B-it --port 8080
- (선택) 오디오 파일 변환 (Whisper 기반)
cactus transcribe nvidia/parakeet-tdt-0.6b-v3 --file audio.wav
- (선택) 커스텀 모델 변환
cactus convert meta-llama/llama-2-7b-hf --bits 4
깃밥트라이로 맛보기
받아보기 귀찮고 살짝 불안했다면 — 안전 스캔부터 설치까지 터미널 한 줄로 끝나요.
터미널에 붙여넣으면 깃밥 안전 스캔 → 격리 폴더 clone → 설치 → 실행법 안내까지 자동이에요. 처음이어도 괜찮아요 — 이 한 줄이 전부예요.
npx gitbap-try cactus-compute/cactus
Node.js만 있으면 설치 없이 실행돼요 · 깃밥트라이가 뭐예요? →
별 추이 · 7일
활용성 · 따라 만들기 좋은가
- 관대한 라이선스
- 테스트 있음
- 예제 디렉토리
- 최근 활동
- AGENTS.md
- llms.txt
- 템플릿
🟢 최근 활동 있음 · 2025년 생성
「모바일」 이런 레포, 매주 받아보실래요?
매주 월요일 아침, 골라 담은 밥상만. 광고 없이 · 언제든 해지.
내 레포인가요? README에 깃밥 배지 달기
[](https://www.gitbap.com/r/cactus-compute/cactus)🔌 클로드에서 바로 써보기 — 깃밥 연결하는 법
깃밥을 클로드에 연결하면 이런 레포를 클로드·커서·Codex에서 바로 찾고 체험할 수 있어요.
클로드 설정 → 커넥터에 이 주소를 붙여넣기.
https://www.gitbap.com/api/mcp플러그인을 설치하면 /gitbap-trending·/gitbap-try 슬래시 커맨드로 레포를 그 자리에서 체험. Claude Code에서 아래 두 줄을 차례로 실행하세요.
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI가 README 기반으로 요약했습니다 · 원문 보기