qualcomm/nexa-sdk
로컬 디바이스에서 최신 멀티모달 AI 모델을 NPU·GPU·CPU로 실행하는 고성능 추론 프레임워크
8,110+1이번 주0 찜
1,010포크49이슈
중간맛 분석
Rust 기반 멀티플랫폼 추론 엔진(Windows/Linux/Android, NPU/GPU/CPU 지원). GGUF·NEXA 포맷 지원, ·Python·Android · 제공. Qwen3-VL·DeepSeek-OCR·Gemma3 등 최신 모델을 경쟁사보다 빠르게 지원(Day-0 support). 한 줄 코드로 LLM·VLM·ASR·OCR·이미지생성 실행 가능. Ollama·llama.cpp·LM Studio 대비 NPU 우선 지원·Android ·전체 멀티모달성 차별화.
이런 레포예요
이럴 때 쓰면 좋아요
- 스마트폰에서 인터넷 연결 없이 이미지 분석·텍스트 생성
- Qualcomm NPU를 활용한 저전력 온디바이스 AI 배포
- IoT·자동차·로봇 등 엣지 디바이스에서 실시간 추론 실행
핵심 기능
NPU·GPU·CPU 통합 지원으로 최적 성능 추출멀티모달 통합 파이프라인 (텍스트·이미지·오디오)CLI·Python·Android·Docker 멀티플랫폼 SDK
대안 대비 차별점
Qualcomm NPU 최적화와 Day-0 모델 지원(경쟁사보다 수주~수개월 빠름), 진정한 안드로이드 네이티브 SDK 제공으로 Ollama·llama.cpp와 차별화.
준비물
- Python 3.8+ (Python SDK 사용 시)
- Windows/Linux/Android 운영체제
- NPU 모델 사용 시 Qualcomm Snapdragon 칩셋 (권장)
바로 시작하기
- 환경변수에 NPU 접근 토큰 설정 (Windows)
$env:NEXA_TOKEN="key/eyJhY2NvdW50Ijp7ImlkIjoiNDI1Y2JiNWQtNjk1NC00NDYxLWJiOWMtYzhlZjBiY2JlYzA2In0sInByb2R1Y3QiOnsiaWQiOiJkYjI4ZTNmYy1mMjU4LTQ4ZTctYmNkYi0wZmE4YjRkYTJhNWYifSwicG9saWN5Ijp7ImlkIjoiMmYyOWQyMjctNDVkZS00MzQ3LTg0YTItMjUwNTYwMmEzYzMyIiwiZHVyYXRpb24iOjMxMTA0MDAwMH0sInVzZXIiOnsiaWQiOiI3MGE2YzA4NS1jYjc3LTQ3YmEtOWUxNC1lNjFjYTA2ZThmZjUiLCJlbWFpbCI6ImFsYW40QG5leGE0YWkuY29tIn0sImxpY2Vuc2UiOnsiaWQiOiI4OTlhZGQ2NS1lOTI2LTQ2M2ItODllNi0xMjc0NzM3ZjA1MzYiLCJjcmVhdGVkIjoiMjAyNS0wOS0wNlQwMDo1MzozNi4yMDNaIiwiZXhwaXJ5IjoiMjAzNS0xMi0zMVQyMzo1OTo1OS4wMDBaIn19.BXoUHIEzFMuuZbBT7RvsKO9nTi5950C6kHO64blF7XBnfKvZ6ClA8a55tmszI1ZWdngzpNFTzMM5PV5euuzMCA=="
- Python SDK 설치
pip install nexaai
- Python으로 모델 로드 및 실행
python -c "from nexaai import LLM, GenerationConfig, ModelConfig, LlmChatMessage
llm = LLM.from_(model='NexaAI/Qwen3-0.6B-GGUF', config=ModelConfig())
conversation = [LlmChatMessage(role='user', content='Hello, tell me a joke')]
prompt = llm.apply_chat_template(conversation)
for token in llm.generate_stream(prompt, GenerationConfig(max_tokens=100)):
print(token, end='', flush=True)"
또는 CLI로 실행
nexa infer NexaAI/Qwen3-1.7B-GGUF
별 추이 · 7일
8,110+1 / 7일
활용성 · 따라 만들기 좋은가
베스트 샘플샘플 점수 68/100
- 관대한 라이선스
- 테스트 있음
- 예제 디렉토리
- 최근 활동
- AGENTS.md
- llms.txt
- 템플릿
🟢 최근 활동 있음 · 2024년 생성
이 레포에 깃밥 배지 달기
[](https://www.gitbap.com/r/qualcomm/nexa-sdk)🔌 클로드에서 바로 써보기
깃밥을 클로드에 연결하면 이런 레포를 클로드·커서·Codex에서 바로 찾고 체험할 수 있어요.
방법 ① 커넥터 URL
클로드 설정 → 커넥터에 이 주소를 붙여넣기.
https://www.gitbap.com/api/mcp방법 ② 플러그인 (체험까지)
플러그인을 설치하면 /gitbap-trending·/gitbap-try 슬래시 커맨드로 레포를 그 자리에서 체험. Claude Code에서 아래 두 줄을 차례로 실행하세요.
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI가 README 기반으로 요약했습니다 · 원문 보기