us/crw
Rust 기반 자체 호스팅 웹 크롤러로, Firecrawl의 오픈소스 대안입니다.
277+9이번 주0 찜
22포크1이슈
중간맛 분석
Rust 기반 단일 정적 바이너리로, 간단한 도커 명령어 하나로 자체 호스팅 가능합니다. REST (/v1/)와 Firecrawl 호환 레이어(/firecrawl/v2/)를 제공하며, 변경 추적, 웹 검색, 구조화된 추출 등을 지원합니다. 메모리 효율성(~50MB 유휴), 빠른 응답 시간, 그리고 Claude, Cursor 등의 AI 에이전트와 직접 연동되는 내장 MCP 서버가 핵심입니다. Python , Node.js 패키지, 등 다양한 인터페이스를 제공하며, 자체 호스팅 또는 .fastcrw.com 관리형 사용 가능합니다.
이런 레포예요
이럴 때 쓰면 좋아요
- AI 에이전트에 웹 스크래핑 기능을 추가할 때
- Firecrawl에서 마이그레이션하면서 비용을 절감하고 자체 인프라에서 운영하고 싶을 때
- 메모리와 CPU가 제한된 작은 VPS에서 웹 크롤러를 배포해야 할 때
핵심 기능
단일 Rust 바이너리로 배포 가능(설치 크기 ~8MB, 유휴 메모리 ~50MB)Firecrawl 호환 레이어와 네이티브 /v1 REST API 제공Claude·Cursor·Windsurf 등 AI 에이전트와 직접 연동되는 내장 MCP 서버
대안 대비 차별점
Firecrawl과 Crawl4AI 대비 매우 가볍고 빠른(Rust 네이티브) 단일 바이너리로, Chromium 오버헤드 없이 메모리와 CPU 효율성에서 우월하며, 공개 벤치마크로 검증된 성능을 제공합니다.
바로 시작하기
- 관리형 API 사용
curl -X POST https://api.fastcrw.com/v1/scrape \
-H "Authorization: Bearer $CRW_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url":"https://example.com","formats":["markdown"]}'
- 또는 자체 호스팅 (Docker)
docker run -p 3000:3000 ghcr.io/us/crw
- 로컬에서 API 호출
curl http://localhost:3000/v1/scrape \
-H "Content-Type: application/json" \
-d '{"url":"https://example.com"}'
- Python SDK 설치
pip install crw
- MCP 서버 설치 (AI 에이전트용)
npm install -g crw-mcp
- Claude Code에서 MCP 설정
claude mcp add crw -- npx -y crw-mcp
이 레포로 만든 것들
🖋 완주 인증하기아직 이 레포로 만든 완주 인증이 없어요. 첫 밥도장을 찍어보세요!
별 추이 · 7일
277+9 / 7일
활용성 · 따라 만들기 좋은가
따라 하기 좋음샘플 점수 48/100
- 관대한 라이선스
- 테스트 있음
- 예제 디렉토리
- 최근 활동
- AGENTS.md
- llms.txt
- 템플릿
🟢 최근 활동 있음 · 2026년 생성
이 레포에 깃밥 배지 달기
[](https://www.gitbap.com/r/us/crw)🔌 클로드에서 바로 써보기
깃밥을 클로드에 연결하면 이런 레포를 클로드·커서·Codex에서 바로 찾고 체험할 수 있어요.
방법 ① 커넥터 URL
클로드 설정 → 커넥터에 이 주소를 붙여넣기.
https://www.gitbap.com/api/mcp방법 ② 플러그인 (체험까지)
플러그인을 설치하면 /gitbap-trending·/gitbap-try 슬래시 커맨드로 레포를 그 자리에서 체험. Claude Code에서 아래 두 줄을 차례로 실행하세요.
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI가 README 기반으로 요약했습니다 · 원문 보기