germondai/trawl
Cloudflare 우회 기능이 내장된 자체 호스팅 웹 스크래핑 엔진, FlareSolverr v2 호환
260+70이번 주0 찜
13포크2이슈
중간맛 분석
스택: Bun 런타임, Elysia 프레임워크, Camoufox Firefox, Redis 세션 캐시. 4단 계층 실행 방식(일반 HTTP → 캐시 → 새로운 CF 해결 → 프록시)으로 부하를 관리합니다. CF Turnstile, reCAPTCHA v2, hCaptcha, GeeTest v4 슬라이드를 자동 해결. Compose로 한 번에 띄워서 curl http://localhost:8191/health로 확인 가능. 난이도 2/5, 바로 쓸 수 있음(FlareSolverr 호환).
이런 레포예요
이럴 때 쓰면 좋아요
- Prowlarr, Radarr, Sonarr 같은 *arr 앱들이 Cloudflare로 보호된 인덱서 사이트에 접근할 때
- torrent 인덱서나 웹사이트의 콘텐츠를 자동으로 수집해야 하는 개인 서버 운영 시
- CAPTCHA와 봇 방지 기술이 적용된 사이트에서 대량 데이터를 수집할 때
핵심 기능
Camoufox Firefox로 네이티브 Cloudflare 및 CAPTCHA 해결Redis 캐시로 같은 도메인 반복 요청 0.5초 이내 반환FlareSolverr v2 호환으로 기존 *arr 생태계와 즉시 연동
대안 대비 차별점
Camoufox 기반의 진정한 브라우저 지문 위장으로 FlareSolverr보다 더 높은 성공률을 제공하며, 외부 API나 타사 프록시 없이 완전히 자체 호스팅 가능합니다.
준비물
- Docker & Docker Compose
- Linux/macOS/Windows (WSL2 권장)
바로 시작하기
- 저장소를 클론하고 환경설정 파일을 복사합니다.
git clone https://github.com/germondai/trawl.git
cd trawl
cp .env.example .env
- Docker Compose로 스크래퍼와 Redis를 시작합니다.
docker compose up -d
- 헬스 체크 엔드포인트로 정상 작동을 확인합니다.
curl http://localhost:8191/health
- FlareSolverr 호환 API로 테스트 요청을 보냅니다.
curl -X POST http://localhost:8191/v1 \
-H 'Content-Type: application/json' \
-d '{"cmd":"request.get","url":"https://nowsecure.nl","maxTimeout":60000}'
- Prowlarr 또는 Jackett에서 FlareSolverr URL을 다음으로 설정합니다.
http://localhost:8191
(같은 Docker 네트워크면 http://trawl:8191)
이 레포로 만든 것들
🖋 완주 인증하기아직 이 레포로 만든 완주 인증이 없어요. 첫 밥도장을 찍어보세요!
별 추이 · 7일
260+70 / 7일
활용성 · 따라 만들기 좋은가
샘플 점수 14/100
- 관대한 라이선스
- 테스트 있음
- 예제 디렉토리
- 최근 활동
- AGENTS.md
- llms.txt
- 템플릿
🟢 최근 활동 있음 · 2026년 생성
이 레포에 깃밥 배지 달기
[](https://www.gitbap.com/r/germondai/trawl)🔌 클로드에서 바로 써보기
깃밥을 클로드에 연결하면 이런 레포를 클로드·커서·Codex에서 바로 찾고 체험할 수 있어요.
방법 ① 커넥터 URL
클로드 설정 → 커넥터에 이 주소를 붙여넣기.
https://www.gitbap.com/api/mcp방법 ② 플러그인 (체험까지)
플러그인을 설치하면 /gitbap-trending·/gitbap-try 슬래시 커맨드로 레포를 그 자리에서 체험. Claude Code에서 아래 두 줄을 차례로 실행하세요.
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI가 README 기반으로 요약했습니다 · 원문 보기