0xMassi/webclaw
웹사이트를 깔끔한 마크다운, JSON, LLM 형식으로 변환하는 웹 추출 도구
1,636+180이번 주0 찜
176포크0이슈
중간맛 분석
Rust로 작성된 고성능 웹 추출 엔진입니다. , MCP 서버(Claude/Cursor 통합), REST , 그리고 TypeScript/Python/Go 를 제공합니다. 바로 사용 가능한 도구로 마크다운, LLM 형식, JSON, 텍스트 등 다양한 출력 형식을 지원하며, 크롤링·배치 처리·구조화된 데이터 추출·요약 등이 가능합니다. 로컬 실행도 지원하지만 보호된 사이트 접근이나 JavaScript 렌더링은 호스팅 필요.
이런 레포예요
이럴 때 쓰면 좋아요
- Claude나 Cursor 같은 AI 에이전트에게 깔끔한 웹 컨텍스트 제공
- 문서, 도움말 센터, 블로그를 크롤해 RAG 파이프라인에 수집
- 경쟁사 가격 페이지, 변경 로그, 제품 페이지 모니터링
- 복잡한 웹페이지를 구조화된 JSON으로 자동 추출
- 브랜드 색상, 폰트, 로고 같은 자산 추출
핵심 기능
HTML을 마크다운·JSON·LLM 형식으로 정제 추출MCP 프로토콜로 AI 에이전트 직접 통합CLI, REST API, 다중 언어 SDK 제공로컬 실행 지원, 클라우드 기능 선택
대안 대비 차별점
Firecrawl과 달리 핵심 추출은 로컬에서 무료로 작동하며, Rust 기반 고성능 엔진과 MCP 네이티브 지원으로 AI 에이전트 통합이 즉각적입니다.
준비물
- Rust 1.56+ (소스 빌드 시)
- macOS/Linux/Windows 중 하나
- MCP 클라이언트 (Claude Desktop, Cursor, Windsurf 등 - 옵션)
바로 시작하기
- MCP 클라이언트(Claude Desktop, Cursor 등)에 연결하려면 자동 설치:
npx create-webclaw
- Homebrew로 설치(macOS):
brew tap 0xMassi/webclaw
brew install webclaw
- Cargo로 소스에서 설치:
cargo install --git https://github.com/0xMassi/webclaw.git webclaw-cli
- 단일 페이지를 마크다운으로 추출:
webclaw https://example.com --format markdown
- LLM 최적화 형식으로 추출:
webclaw https://docs.anthropic.com --format llm
- 문서 사이트를 깊이 2로 크롤:
webclaw https://docs.rust-lang.org --crawl --depth 2 --max-pages 50
별 추이 · 7일
1,636+180 / 7일
활용성 · 따라 만들기 좋은가
샘플 점수 30/100
- 관대한 라이선스
- 테스트 있음
- 예제 디렉토리
- 최근 활동
- AGENTS.md
- llms.txt
- 템플릿
🟢 최근 활동 있음 · 2026년 생성
이 레포에 깃밥 배지 달기
[](https://www.gitbap.com/r/0xMassi/webclaw)🔌 클로드에서 바로 써보기
깃밥을 클로드에 연결하면 이런 레포를 클로드·커서·Codex에서 바로 찾고 체험할 수 있어요.
방법 ① 커넥터 URL
클로드 설정 → 커넥터에 이 주소를 붙여넣기.
https://www.gitbap.com/api/mcp방법 ② 플러그인 (체험까지)
플러그인을 설치하면 /gitbap-trending·/gitbap-try 슬래시 커맨드로 레포를 그 자리에서 체험. Claude Code에서 아래 두 줄을 차례로 실행하세요.
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI가 README 기반으로 요약했습니다 · 원문 보기