any4ai/AnyCrawl

웹 크롤링, 사이트 수집, 검색 엔진 결과 추출을 위한 고성능 Node.js 툴킷

설치형 도구맘대로 써도 됨 · MIT데이터·크롤링TypeScript난이도
3,381+80이번 주0 찜
359포크6이슈
데모·홈페이지 열기anycrawl.dev

중간맛 분석

Node.js + TypeScript 기반이며, cheerio(가볍고 빠름), playwright, puppeteer(JavaScript 렌더링) 엔진을 지원합니다. 멀티 스레딩·멀티 프로세스로 대량 작업을 빠르게 처리하고, 캐싱과 배치 작업을 기본으로 제공합니다. 형태로 제공되며 공개 (.anycrawl.dev) 또는 자체 호스팅 가능합니다. 난이도는 중상(3~4)이며, 데모는 Playground(anycrawl.dev/playground)에서 바로 테스트할 수 있습니다.

이런 레포예요

이럴 때 쓰면 좋아요

  • AI 모델 학습용 웹데이터 대규모 수집 및 구조화
  • e커머스 가격 비교 또는 경쟁사 모니터링
  • 검색 엔진 결과를 이용한 시장조사 및 SEO 분석

핵심 기능

다중 크롤링 엔진(cheerio/playwright/puppeteer) 및 캐싱LLM 기반 자동 데이터 추출(JSON 스키마 지원)SERP, 단일페이지, 전체사이트 크롤링 통합 API

대안 대비 차별점

LLM 추출이 기본 기능으로 통합되고 통합 플랫폼(검색+크롤+추출)을 API 우선 설계로 제공하여, Cheerio나 Puppeteer 같은 개별 라이브러리보다 스케일 가능한 엔드투엔드 솔루션을 제시합니다.

먹어본 사람들

실제로 차려 먹어본 손님들의 흔적이에요 — 한마디와 완주 인증 모두 검수 후 공개돼요.

시식평 · 먹어본 사람 한마디

아직 시식평이 없어요. 먹어보셨다면 첫 한마디를 남겨주세요.

다른 레포 시식평 구경하기 →

이 레포로 만든 것들

🖋 완주 인증하기

아직 이 레포로 만든 완주 인증이 없어요. 첫 밥도장을 찍어보세요!

이 레포, 해먹는 법

처음 오셨어요? 어렵지 않아요 — 위에서 아래로 따라 하면 내 컴퓨터에 이 레포를 차려서 바로 맛볼 수 있어요.

준비물

  • Node.js 20 이상(CloakBrowser 사용 시)
  • API 키(자체 호스팅 시 pnpm으로 생성)
  • 선택사항: Docker & Docker Compose(컨테이너 배포 시)

바로 차려먹기Node.js (pnpm)

깃밥이 레포 구조를 확인하고 만든 실행 명령이에요. 터미널에 붙여넣으면 받기부터 실행까지 한 번에 진행돼요.

git clone --depth 1 https://github.com/any4ai/AnyCrawl.git &&
cd AnyCrawl &&
pnpm install &&
pnpm run dev

코드는 내 컴퓨터에서 실행돼요 — 처음 보는 레포라면 내용을 한번 훑어보고 실행하는 습관을 추천해요.

README가 안내하는 자세한 단계 보기
  1. API 키 생성(자체 호스팅 시)
pnpm --filter api key:generate

또는 Docker Compose 환경에서

docker compose exec api pnpm --filter api key:generate
  1. 웹페이지 스크래핑
curl -X POST https://api.anycrawl.dev/v1/scrape \
  -H 'Content-Type: application/json' \
  -H 'Authorization: Bearer YOUR_ANYCRAWL_API_KEY' \
  -d '{
  "url": "https://example.com",
  "engine": "cheerio"
}'
  1. 전체 사이트 크롤링
curl -X POST https://api.anycrawl.dev/v1/crawl \
  -H 'Content-Type: application/json' \
  -H 'Authorization: Bearer YOUR_ANYCRAWL_API_KEY' \
  -d '{
  "url": "https://example.com",
  "engine": "playwright",
  "max_depth": 2,
  "limit": 10,
  "strategy": "same-domain"
}'
  1. 검색 엔진 결과 추출
curl -X POST https://api.anycrawl.dev/v1/search \
  -H 'Content-Type: application/json' \
  -H 'Authorization: Bearer YOUR_ANYCRAWL_API_KEY' \
  -d '{
  "query": "AnyCrawl",
  "limit": 10,
  "engine": "google",
  "lang": "all"
}'
  1. LLM 기반 데이터 추출(JSON 구조화)
curl -X POST https://api.anycrawl.dev/v1/scrape \
  -H 'Authorization: Bearer YOUR_ANYCRAWL_API_KEY' \
  -H 'Content-Type: application/json' \
  -d '{
    "url": "https://example.com",
    "json_options": {
      "schema": {
        "type": "object",
        "properties": {
          "company_mission": { "type": "string" },
          "is_open_source": { "type": "boolean" },
          "employee_count": { "type": "number" }
        },
        "required": ["company_mission"]
      }
    }
  }'

깃밥트라이로 맛보기

받아보기 귀찮고 살짝 불안했다면 — 안전 스캔부터 설치까지 터미널 한 줄로 끝나요.

터미널에 붙여넣으면 깃밥 안전 스캔 → 격리 폴더 clone → 설치 → 실행법 안내까지 자동이에요. 처음이어도 괜찮아요 — 이 한 줄이 전부예요.

npx gitbap-try any4ai/AnyCrawl

Node.js만 있으면 설치 없이 실행돼요 · 깃밥트라이가 뭐예요? →

별 추이 · 7일

3,381+80 / 7일

활용성 · 따라 만들기 좋은가

샘플 점수 34/100
  • 관대한 라이선스
  • 테스트 있음
  • 예제 디렉토리
  • 최근 활동
  • AGENTS.md
  • llms.txt
  • 템플릿

🟢 최근 활동 있음 · 2025년 생성

「데이터·크롤링」 이런 레포, 매주 받아보실래요?

매주 월요일 아침, 골라 담은 밥상만. 광고 없이 · 언제든 해지.

내 레포인가요? README에 깃밥 배지 달기
[![깃밥](https://www.gitbap.com/badge/any4ai/AnyCrawl.svg)](https://www.gitbap.com/r/any4ai/AnyCrawl)
🔌 클로드에서 바로 써보기 — 깃밥 연결하는 법

깃밥을 클로드에 연결하면 이런 레포를 클로드·커서·Codex에서 바로 찾고 체험할 수 있어요.

방법 ① 커넥터 URL

클로드 설정 → 커넥터에 이 주소를 붙여넣기.

https://www.gitbap.com/api/mcp
방법 ② 플러그인 (체험까지)

플러그인을 설치하면 /gitbap-trending·/gitbap-try 슬래시 커맨드로 레포를 그 자리에서 체험. Claude Code에서 아래 두 줄을 차례로 실행하세요.

/plugin marketplace add jakeparkcolde/gitbap-cowork
/plugin install gitbap-cowork@gitbap
연결 방법 자세히 →

AI가 README 기반으로 요약했습니다 · 원문 보기