LLM 도구 맛대결: 모델 허브부터 에이전트·스크래퍼·토큰 절약 CLI까지
이번 네 레포는 '같은 작업'을 하는 경쟁자는 아닙니다. transformers는 모델 자체를 제공하는 기반 레이어, rtk는 코딩 에이전트의 쉘 출력 토큰비용을 줄이는 보조 CLI, ScrapeGraphAI는 LLM으로 웹·문서를 구조화 추출하는 파이프라인, nanobot은 여러 채널에서 돌아가는 셀프호스팅 에이전트 프레임워크입니다. 공통점은 모두 'LLM을 실제 작업에 연결하는 도구'라는 점이며, 독자가 자신의 상황(모델 활용/비용 절감/데이터 추출/에이전트 운영)에 맞는 지점을 고르도록 묶었습니다.
왜 이들을 묶었나 — LLM 관련 레포를 처음 둘러보는 사람은 '모델을 쓰는 것'과 '모델을 감싸는 도구를 쓰는 것'을 구분하지 못해 헤매기 쉽습니다. 이 네 레포를 나란히 놓으면 각각이 LLM 파이프라인의 어느 구간(모델 자체 → 비용 관리 → 데이터 수집 → 에이전트 운영)을 책임지는지 한눈에 비교할 수 있고, 설치 난이도·유지보수 활력 같은 실무 지표로 '지금 당장 손댈 수 있는 것'을 가려낼 수 있습니다.
huggingface/transformers
Transformers를 통한 최첨단 NLP, 비전, 오디오 등 멀티모달 AI 모델을 쉽게 활용하고 학습하세요.
왜 이걸 골랐나 — 네 레포는 서로 다른 역할을 하지만, LLM 생태계에 처음 발을 들이는 사람이 가장 먼저 마주치고 오래 쓰게 되는 것은 transformers입니다. 모델 자체를 표준화된 방식으로 제공해 다른 세 도구(에이전트, 스크래퍼 등)가 결과적으로 올라서는 기반 역할을 하며, 100만 개 이상 체크포인트와 방대한 CI/CD 인프라로 생태계 규모와 유지보수 활력 모두 가장 안정적입니다.
여섯 가지 차원으로 견줬습니다
| 차원 | huggingface/transformers🍚 착한밥상 | rtk-ai/rtk🍚 착한밥상 | ScrapeGraphAI/Scrapegraph-ai🍚 착한밥상 | HKUDS/nanobot🍚 착한밥상 |
|---|---|---|---|---|
| 설치 난이도숫자가 높을수록 설치·초기 설정이 간단합니다 | pip 설치, 의존성 주의pip install transformers로 바로 쓸 수 있지만, GPU·프레임워크(PyTorch/TF/Flax) 버전 조합과 모델별 추가 의존성을 맞춰야 할 때가 있습니다. | 단일 바이너리Rust로 빌드된 단일 CLI 바이너리를 내려받아 훅 스크립트만 등록하면 끝이라 네 레포 중 설치가 가장 간단합니다. | pip + 브라우저 설치pip 설치 후 playwright install로 브라우저를 별도로 준비해야 하고, langchain 계열 의존성도 함께 따라와 설치 단계가 더 깁니다. | 패키지/Docker 선택PyPI 패키지나 Docker 이미지로 기본 실행은 쉽지만, 채널별 manifest·runtime 설정을 직접 구성해야 실제로 쓸 수 있습니다. |
| 성능·규모숫자가 높을수록 지원 범위와 생태계 규모가 큽니다 | 모델 100만+ 체크포인트Hugging Face Hub의 100만 개 이상 체크포인트와 텍스트·비전·오디오·멀티모달 전 영역을 아우르는 규모로 네 레포 중 가장 큽니다. | 쉘 출력 압축 특화100여 개 명령어의 출력 압축에 특화된 단일 목적 도구로, 다루는 영역 자체가 좁게 설계되어 있습니다. | 다중 LLM·소스 연동OpenAI·Ollama·Anthropic 등 여러 LLM 프로바이더와 웹/HTML/JSON/CSV 등 다양한 소스를 지원하지만 스크래핑이라는 한 영역에 집중되어 있습니다. | 멀티채널·멀티에이전트여러 채팅앱 연동, 도구 호출, MCP, 멀티에이전트 위임 등 기능 폭은 넓지만 '초경량'을 표방해 규모 자체는 특화 도구 수준입니다. |
| 유지보수 활력숫자가 높을수록 CI/CD·배포·문서화가 활발합니다 | 대규모 CI/CD 인프라수십 개 GitHub Actions 워크플로와 동적 테스트 선택 시스템(tests_fetcher.py), 20개 이상 언어 문서 번역까지 관리 체계가 가장 두텁습니다. | 단일 바이너리 중심자체 분석 대시보드(rtk gain 등)는 갖췄지만 공개된 관리 체계에 대한 정보가 제한적입니다. | 다수 외부 의존langchain·playwright 등 외부 패키지 변경에 영향을 받는 구조로, 자체 관리 범위는 중간 수준입니다. | CI·패키지·Docker 배포GitHub Actions CI, PyPI 패키지, 멀티스테이지 Docker 빌드와 비루트 전환(entrypoint.sh)까지 배포 체계가 비교적 잘 갖춰져 있습니다. |
| 학습곡선숫자가 높을수록 배우기 쉽습니다 | 시작은 쉽고 전체는 넓음Pipeline으로 모델명만 지정해 바로 시작할 수 있지만, Config/Model/Preprocessor 구조와 Trainer·generate() 옵션까지 익히려면 범위가 넓습니다. | 훅 등록만 하면 사용 가능exit code 기반 Allow/Passthrough/Deny/Ask 프로토콜을 깊이 이해하지 않아도 훅 스크립트 등록만으로 바로 효과를 볼 수 있습니다. | 그래프 클래스 여러 개SmartScraperGraph 등 용도별 그래프 클래스와 docloader·LLM 설정(graph_config)을 조합하는 개념을 익혀야 합니다. | 아키텍처 이해 필요이벤트 버스, 채널 플러그인, AgentLoop 등 자체 아키텍처 개념이 여러 층으로 얽혀 있어 네 레포 중 진입장벽이 가장 높습니다. |
| 라이선스상업적 사용 | ✅ Apache-2.0 | ✅ Apache-2.0 | ✅ MIT | ✅ MIT |
| 용도 적합어디에 맞나 | 사전학습 모델을 직접 불러와 추론·파인튜닝해야 하는 텍스트·비전·오디오 작업 전반 | Claude Code·Cursor 등 코딩 에이전트의 쉘 명령 출력으로 인한 토큰비용을 줄이고 싶은 경우 | 특정 웹사이트나 로컬 문서에서 원하는 정보를 LLM으로 구조화해 추출해야 하는 경우 | 여러 채팅앱·채널에서 동작하는 개인 AI 에이전트를 셀프호스팅하려는 경우 |
각자 무엇을 잘하고, 무엇을 포기했나
Transformers를 통한 최첨단 NLP, 비전, 오디오 등 멀티모달 AI 모델을 쉽게 활용하고 학습하세요.
👍 장점
- Hugging Face Hub의 100만 개 이상 체크포인트를 곧바로 불러와 추론·파인튜닝 가능
- Pipeline로 간단 추론, Trainer로 mixed precision·분산학습까지 지원
- vLLM·TGI 등 추론 엔진과 학습 프레임워크 사이의 공통 기준점 역할
- 20개 이상 언어로 번역된 문서와 모델별 프레임워크 지원 표 자동 관리
👎 단점
- 모델 종류가 방대해 전체 구조를 파악하려면 학습량이 큼
- GPU·프레임워크 버전 조합 등 환경 의존성 관리가 필요
Shell 명령 출력을 자동으로 압축·필터링해 AI 에이전트의 토큰 비용을 줄이는 CLI 도구
👍 장점
- 단일 Rust 바이너리로 설치가 간단하고 기존 에이전트에 훅만 추가하면 동작
- bash 출력을 최대 90%까지 압축해 토큰 비용 절감
- rtk gain, cc-economics 등 절감 효과를 수치로 확인하는 대시보드 제공
- 100개 이상 개발 명령어(git/npm/cargo 등) 대응
👎 단점
- 토큰 절감치가 자체 토크나이저 없는 'bytes/4' 추정값으로 정밀하지 않음
- 지원하지 않는 명령어나 에이전트 생태계 밖에서는 효과가 제한적
LLM과 그래프 로직으로 웹사이트와 로컬 문서에서 정보를 추출하는 AI 기반 웹 스크래핑 라이브러리
👍 장점
- 자연어 프롬프트만으로 웹·로컬 문서에서 원하는 정보를 추출하는 파이프라인 구성
- SmartScraperGraph 등 용도별 그래프 클래스로 목적에 맞는 추출 방식 선택 가능
- OpenAI·Ollama·Anthropic 등 다양한 LLM 프로바이더 연동
- pydantic/jsonschema 기반 구조화된 JSON 결과 반환
👎 단점
- playwright install 등 브라우저 준비 단계가 추가로 필요
- langchain 계열 의존성이 많고 대상 사이트 구조 변화에 영향받음
WebUI·터미널·채팅앱에서 실행하는 오픈소스 AI 에이전트 프레임워크
👍 장점
- WebUI·터미널·여러 채팅앱(Discord/Telegram/Slack 등)에서 동일 에이전트 실행
- 도구 호출·장기 메모리·MCP·멀티에이전트 위임을 하나의 작은 코어로 제공
- OpenAI 호환 API(/v1/chat/completions)로 기존 클라이언트 연동 가능
- entrypoint.sh의 비루트 강제 전환 등 컨테이너 샌드박싱 고려
👎 단점
- 이벤트 버스·채널 플러그인·AgentLoop 등 아키텍처 이해에 진입장벽 존재
- 채널마다 manifest·runtime 설정을 직접 구성해야 함
용도별 추천
Pipeline로 모델명만 지정해 추론을 바로 실행하거나, Trainer로 분산학습·mixed precision까지 다룰 수 있습니다.
PreToolUse 훅이 git status·npm test 같은 출력을 가로채 압축해 LLM 컨텍스트로 전달, 토큰 소비를 줄입니다.
SmartScraperGraph 등 그래프 클래스가 크롤링-정제-LLM 추론-구조화를 파이프라인으로 처리합니다.
채널 플러그인 구조와 AgentLoop, OpenAI 호환 API로 하나의 에이전트를 여러 창구에서 쓸 수 있습니다.
어떤 기준으로 견줬나
맛대결은 순위표가 아닙니다. 아래 여섯 차원은 “설치해서 실제로 쓸 때 결과가 갈리는 지점”만 골랐고, 등급은 검증단이 각 레포를 실제 설치·실행해 남긴 기록과 공개 저장소 데이터에 근거합니다.
등급은 절대 점수가 아니라 이 대결 안에서의 상대 비교입니다 · 착한밥상 배지는 4개 관문(안전·실속·살아있음·숙성)을 통과한 레포에만 붙습니다 · 관찰 중 표기는 숙성 기간이 아직 차지 않은 경우입니다.
지난 맛대결
2회차지금 보고 있는 최신 회차는 무료입니다. 그 앞의 2회차는 깃밥 PRO에서 열립니다 — 같은 카테고리가 회차를 거치며 어떻게 바뀌었는지 견주는 기록입니다.
깃밥 PRO 전용 · 지난 회차 맛대결 전문 — 회차별 6차원 비교 · 간판 선정 이유 · 참가 레포 장단점
최신 회차 맛대결 전문 — 지금처럼 무료로 열립니다.