zengxiao-he/tessera
대형 언어모델을 소형으로 증류한 후 효율적으로 서빙하는 완전한 LLM 스택
482+95이번 주0 찜
5포크0이슈
중간맛 분석
PyTorch 기반 완전 자작 LLM 스택으로, 지식 증류(Knowledge Distillation)·FSDP 분산 학습·Triton/CUDA 커널·양자화(int8/AWQ/FP8)·페이징 KV 캐시·연속 배칭·추측적 디코딩을 포함합니다. 학습과 서빙을 일관되게 최적화하는 구조이며, CPU/Apple MPS에서 테스트되고 NVIDIA GPU에서 Triton 커널로 가속됩니다. Rust 게이트웨이로 HTTP 요청을 처리합니다.
이런 레포예요
이럴 때 쓰면 좋아요
- 대형 모델을 경량화하여 엣지 디바이스나 저비용 인프라에서 실시간 추론 서빙
- GPU 메모리 제약이 있는 환경에서 고처리량 배치 추론
- 높은 정확도가 필요한 도메인 특화 언어모델의 효율적 운영
핵심 기능
완전 자작 지식 증류 + FSDP 분산 학습 파이프라인Triton/CUDA 최적화 커널(FlashAttention, RMSNorm, int8 양자화)페이징 KV 캐시·연속 배칭·추측적 디코딩을 갖춘 추론 엔진
대안 대비 차별점
학습부터 서빙, 양자화, 커널 최적화까지 전 과정을 end-to-end로 구현하면서도 CPU/노트북에서도 완전히 테스트 가능한 실제 프로덕션 스택입니다.
준비물
- Python 3.10+
- PyTorch
- Rust 1.75+(Rust 게이트웨이 사용 시)
바로 시작하기
- 저장소 클론 및 가상 환경 설정
git clone https://github.com/zengxiao-he/tessera && cd tessera
python -m venv .venv && source .venv/bin/activate
- PyTorch 설치(CPU)
pip install torch --index-url https://download.pytorch.org/whl/cpu
- 패키지 개발 설치
pip install -e ".[dev]"
- CPU 테스트 실행
pytest -m "not gpu"
- 서빙 예제 실행(연속 배칭 + 추측적 디코딩)
python examples/serve.py
- 증류 훈련 실행(30 스텝)
python examples/train_distill.py --steps 30
별 추이 · 7일
482+95 / 7일
활용성 · 따라 만들기 좋은가
따라 하기 좋음샘플 점수 48/100
- 관대한 라이선스
- 테스트 있음
- 예제 디렉토리
- 최근 활동
- AGENTS.md
- llms.txt
- 템플릿
🟢 최근 활동 있음 · 2026년 생성
이 레포에 깃밥 배지 달기
[](https://www.gitbap.com/r/zengxiao-he/tessera)🔌 클로드에서 바로 써보기
깃밥을 클로드에 연결하면 이런 레포를 클로드·커서·Codex에서 바로 찾고 체험할 수 있어요.
방법 ① 커넥터 URL
클로드 설정 → 커넥터에 이 주소를 붙여넣기.
https://www.gitbap.com/api/mcp방법 ② 플러그인 (체험까지)
플러그인을 설치하면 /gitbap-trending·/gitbap-try 슬래시 커맨드로 레포를 그 자리에서 체험. Claude Code에서 아래 두 줄을 차례로 실행하세요.
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI가 README 기반으로 요약했습니다 · 원문 보기