AI 네이티브 웹 스크래퍼, 단일 바이너리로 Claude Code 스킬 내장
중간맛 분석
스택: C# .NET, Roslyn source generators, Chromium/CDP, Playwright. 설치: Homebrew (macOS/Linux), 설치 스크립트, 또는 NuGet 라이브러리. 바로 쓸 수 있나? 네, 명령어 하나로 webreaper scrape https://example.com 즉시 실행 가능. 난이도: 1~2 (는 초급, 라이브러리는 중급). 데모: webreaper scrape https://news.ycombinator.com으로 Hacker News를 마크다운으로 출력, webreaper map 명령어로 사이트 내 URL 탐색, webreaper crawl로 전체 사이트 크롤링.
이런 레포예요
이럴 때 쓰면 좋아요
- 블로그나 문서 사이트에서 LLM 컨텍스트 수집—`webreaper map`으로 URL 발견 후 각 페이지 스크래핑
- 경쟁사 가격이나 상태 페이지 모니터링—cron으로 정기 실행, MongoDB/SQLite 저장, 변경사항만 감지
- 자율 리서치 에이전트 운영—`LlmAgent.RunAsync()`로 목표 달성까지 자동 링크 탐색
- Cloudflare 보호 카탈로그 스크래핑—`--stealth` 플래그로 자동 우회, 블로킹된 페이지는 폐기
핵심 기능
대안 대비 차별점
MIT 라이선스 + 12MB 단일 바이너리 + Native-AOT 지원으로 Docker/외부 서비스 불필요, 동시에 자동 봇 보호 감지와 LLM 안전망을 갖춘 유일한 .NET 스크래퍼입니다.
준비물
- Homebrew (macOS/Linux 설치 시)
- 인터넷 연결
- OpenAI 호환 LLM 엔드포인트 (선택사항, LLM 기능 사용 시)
바로 시작하기
- WebReaper CLI 설치
brew install alex-on-ai/webreaper/webreaper
(또는 Linux: curl -fsSL https://raw.githubusercontent.com/alex-on-ai/WebReaper/master/scripts/install.sh | sh)
- 단순 웹 페이지를 마크다운으로 스크래핑
webreaper scrape https://example.com
- 결과를 파일로 저장
webreaper scrape https://example.com --output page.md
- 사이트 내 특정 경로의 URL 탐색 (최대 50개)
webreaper map https://example.com --search /blog/ --max-urls 50
- Claude Code 스킬 설치
webreaper init
- 전체 사이트 크롤링을 JSON Lines 형식으로 출력
webreaper crawl https://example.com > pages.jsonl
별 추이 · 7일
활용성 · 따라 만들기 좋은가
- 관대한 라이선스
- 테스트 있음
- 예제 디렉토리
- 최근 활동
- AGENTS.md
- llms.txt
- 템플릿
🟢 최근 활동 있음 · 2022년 생성
이 레포에 깃밥 배지 달기
[](https://www.gitbap.com/r/alex-on-ai/WebReaper)🔌 클로드에서 바로 써보기
깃밥을 클로드에 연결하면 이런 레포를 클로드·커서·Codex에서 바로 찾고 체험할 수 있어요.
클로드 설정 → 커넥터에 이 주소를 붙여넣기.
https://www.gitbap.com/api/mcp플러그인을 설치하면 /gitbap-trending·/gitbap-try 슬래시 커맨드로 레포를 그 자리에서 체험. Claude Code에서 아래 두 줄을 차례로 실행하세요.
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI가 README 기반으로 요약했습니다 · 원문 보기