cactus-compute/cactus
모바일·웨어러블 기기용 하이브리드 엣지-클라우드 AI 추론 엔진
5,384+15이번 주0 찜
435포크23이슈
중간맛 분석
C++로 작성된 엣지 AI 추론 프레임워크로, ARM CPU에 최적화된 SIMD 커널을 포함합니다. LLM, VLM, 음성 인식(Whisper) 등 멀티모달 모델을 지원하며, 4~1비트 uniform 양자화와 zero-copy 메모리 매핑을 특징으로 합니다. 신뢰도 기반 자동 클라우드 폴백, OpenAI 호환 , Python/Swift/Kotlin 바인딩을 제공합니다. 데모: Mac에서 brew install cactus-compute/cactus/cactus && cactus run으로 즉시 실행 가능합니다.
이런 레포예요
이럴 때 쓰면 좋아요
- 스마트폰에서 인터넷 없이 AI 채봇 실행
- 스마트워치에서 실시간 음성 인식 및 번역
- 의료 영상 분석 앱 개발 (프라이버시 보호)
- 배터리 제약이 있는 임베디드 기기에서 VLM 추론
핵심 기능
4비트 양자화로 f16 정확도 유지zero-copy 메모리 매핑 (RAM 10배 절감)멀티모달 (LLM·VLM·음성) 통합 엔진
대안 대비 차별점
유일하게 멀티모달(텍스트·음성·영상) 모델을 하나의 엔진으로 처리하면서 신뢰도 기반 자동 클라우드 폴백과 PyTorch 모델 직접 변환을 지원합니다.
준비물
- C++ 컴파일러 (GCC/Clang)
- CMake 3.10+
- Python 3.12+
- Linux(Ubuntu/Debian) 또는 macOS 또는 Android/iOS 빌드 체인
바로 시작하기
- Linux(Ubuntu/Debian)에서 필요한 패키지 설치
sudo apt-get install python3.12 python3.12-venv python3-pip cmake build-essential libcurl4-openssl-dev
- 레포지토리 클론 및 환경 설정
git clone https://github.com/cactus-compute/cactus && cd cactus
source ./setup
- 모델 실행 (자동 다운로드)
cactus run [모델명]
- 선택사항: 양자화 비트 지정 및 플랫폼 선택
cactus run [모델명] --bits 4 --platform auto
- 선택사항: 프롬프트 즉시 전송
cactus run [모델명] --prompt "안녕하세요"
- 또는 OpenAI 호환 HTTP 서버 시작
cactus serve [모델명] --host 127.0.0.1 --port 8080
별 추이 · 7일
5,384+15 / 7일
활용성 · 따라 만들기 좋은가
샘플 점수 26/100
- 관대한 라이선스
- 테스트 있음
- 예제 디렉토리
- 최근 활동
- AGENTS.md
- llms.txt
- 템플릿
🟢 최근 활동 있음 · 2025년 생성
이 레포에 깃밥 배지 달기
[](https://www.gitbap.com/r/cactus-compute/cactus)🔌 클로드에서 바로 써보기
깃밥을 클로드에 연결하면 이런 레포를 클로드·커서·Codex에서 바로 찾고 체험할 수 있어요.
방법 ① 커넥터 URL
클로드 설정 → 커넥터에 이 주소를 붙여넣기.
https://www.gitbap.com/api/mcp방법 ② 플러그인 (체험까지)
플러그인을 설치하면 /gitbap-trending·/gitbap-try 슬래시 커맨드로 레포를 그 자리에서 체험. Claude Code에서 아래 두 줄을 차례로 실행하세요.
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI가 README 기반으로 요약했습니다 · 원문 보기