웹사이트에서 데이터를 수집하고 자동화하는 Node.js 라이브러리
중간맛 분석
Crawlee는 HTTP 크롤링과 실제 브라우저 제어를 통합한 Node.js 라이브러리로, 웹사이트에서 링크와 데이터를 수집해 로컬 저장소나 클라우드에 저장한다. PlaywrightCrawler나 HttpCrawler 같은 크롤러 클래스를 구성해 각 페이지를 처리하는 requestHandler 함수를 작성하는 방식으로 작동한다. 데이터는 기본적으로 ./storage 디렉토리에 JSON으로 저장되며, 설정을 통해 경로를 변경할 수 있다. (npx crawlee create)로 보일러플레이트를 자동 생성하거나, install로 기존 프로젝트에 추가할 수 있다. Playwright를 별도 설치해야 한다(라이브러리에 번들되지 않음).
이런 레포예요
이럴 때 쓰면 좋아요
- 뉴스 사이트, 전자상거래 플랫폼 등에서 상품 정보나 기사 제목을 자동으로 수집해 데이터베이스에 저장
- JavaScript로 동적으로 렌더링되는 웹페이지에서 버튼 클릭, 폼 입력 등 상호작용 후 데이터 추출
- API가 없는 웹사이트에서 여러 페이지를 순회하며 링크를 자동으로 발견하고 따라가며 데이터 수집
핵심 기능
대안 대비 차별점
HTTP 크롤링과 브라우저 크롤링을 하나의 라이브러리에서 동일한 API로 통합하며, Playwright와 Puppeteer를 모두 지원하는 동시에 기본 설정만으로 봇 탐지를 피하도록 설계됨.
먹어본 사람들
실제로 차려 먹어본 손님들의 흔적이에요 — 한마디와 완주 인증 모두 검수 후 공개돼요.
이 레포, 해먹는 법
처음 오셨어요? 어렵지 않아요 — 위에서 아래로 따라 하면 내 컴퓨터에 이 레포를 차려서 바로 맛볼 수 있어요.
준비물
- Node.js 16 이상
- 브라우저 크롤링 사용 시 Playwright 또는 Puppeteer 설치
바로 차려먹기Node.js (pnpm)
깃밥이 레포 구조를 확인하고 만든 실행 명령이에요. 터미널에 붙여넣으면 받기부터 실행까지 한 번에 진행돼요.
git clone --depth 1 https://github.com/apify/crawlee.git && cd crawlee && pnpm install
실행 명령은 README를 확인하세요.
코드는 내 컴퓨터에서 실행돼요 — 처음 보는 레포라면 내용을 한번 훑어보고 실행하는 습관을 추천해요.
README가 안내하는 자세한 단계 보기
- Crawlee CLI로 새 프로젝트 생성
npx crawlee create my-crawler
- 프로젝트 디렉토리로 이동
cd my-crawler
- 시작
npm start
또는 기존 프로젝트에 수동 설치:
- Crawlee와 Playwright 설치
npm install crawlee playwright
- 다음 코드를 JavaScript 파일에 작성해 실행
node your-file.js
깃밥트라이로 맛보기
받아보기 귀찮고 살짝 불안했다면 — 안전 스캔부터 설치까지 터미널 한 줄로 끝나요.
터미널에 붙여넣으면 깃밥 안전 스캔 → 격리 폴더 clone → 설치 → 실행법 안내까지 자동이에요. 처음이어도 괜찮아요 — 이 한 줄이 전부예요.
npx gitbap-try apify/crawlee
Node.js만 있으면 설치 없이 실행돼요 · 깃밥트라이가 뭐예요? →
별 추이 · 7일
확인 시각
활용성 · 따라 만들기 좋은가
- 관대한 라이선스
- 테스트 있음
- 예제 디렉토리
- 최근 활동
- AGENTS.md
- llms.txt
- 템플릿
🟢 최근 활동 있음 · 2016년 생성
「자동화·워크플로우」 이런 레포, 매주 받아보실래요?
매주 월요일 아침, 골라 담은 밥상만. 광고 없이 · 언제든 해지.
내 레포인가요? README에 깃밥 배지 달기
[](https://www.gitbap.com/r/apify/crawlee)🔌 클로드에서 바로 써보기 — 깃밥 연결하는 법
깃밥을 클로드에 연결하면 이런 레포를 클로드·커서·Codex에서 바로 찾고 체험할 수 있어요.
클로드 설정 → 커넥터에 이 주소를 붙여넣기.
https://www.gitbap.com/api/mcp플러그인을 설치하면 /gitbap-trending·/gitbap-try 슬래시 커맨드로 레포를 그 자리에서 체험. Claude Code에서 아래 두 줄을 차례로 실행하세요.
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI가 README 기반으로 요약했습니다 · 원문 보기