apify/crawlee-python

Python 웹 크롤링·스크래핑 라이브러리로 HTTP와 헤드리스 브라우저를 통합 지원

개발 재료맘대로 써도 됨 · Apache-2.0자동화·워크플로우Python난이도
9,377+27이번 주0 찜
783포크74이슈
데모·홈페이지 열기crawlee.dev

중간맛 분석

비동기 Python(Asyncio) 기반으로 높은 병렬 처리 성능을 제공합니다. BeautifulSoupCrawler(HTTP+파싱)와 PlaywrightCrawler(헤드리스 브라우저) 두 가지 크롤러를 제공하며, 타입 힌트로 IDE 자동완성을 지원합니다. 설치 후 crawlee create my-crawler로 즉시 템플릿 기반 실행이 가능하고, 데이터셋과 파일 저장소가 통합되어 있습니다.

이런 레포예요

이럴 때 쓰면 좋아요

  • 뉴스 기사, 상품 정보 등 동적 웹사이트에서 데이터 대량 수집
  • JavaScript 렌더링이 필요한 SPA 사이트의 콘텐츠 추출
  • 프록시와 세션 관리가 필요한 봇 탐지 회피 크롤링

핵심 기능

HTTP와 헤드리스 브라우저 통합 지원자동 재시도, 프록시 로테이션, 병렬 크롤링상태 지속성으로 중단 후 재개 가능

대안 대비 차별점

Scrapy와 달리 일반 Python 스크립트로 작동하여 다른 애플리케이션에 직접 통합 가능하고, 현대적 Asyncio와 완전한 타입 힌트로 더 나은 개발자 경험을 제공합니다.

먹어본 사람들

실제로 차려 먹어본 손님들의 흔적이에요 — 한마디와 완주 인증 모두 검수 후 공개돼요.

시식평 · 먹어본 사람 한마디

아직 시식평이 없어요. 먹어보셨다면 첫 한마디를 남겨주세요.

다른 레포 시식평 구경하기 →

이 레포로 만든 것들

🖋 완주 인증하기

아직 이 레포로 만든 완주 인증이 없어요. 첫 밥도장을 찍어보세요!

이 레포, 해먹는 법

처음 오셨어요? 어렵지 않아요 — 위에서 아래로 따라 하면 내 컴퓨터에 이 레포를 차려서 바로 맛볼 수 있어요.

준비물

  • Python 3.10+
  • pip 또는 uv 패키지 관리자

바로 차려먹기Python (uv)

깃밥이 레포 구조를 확인하고 만든 실행 명령이에요. 터미널에 붙여넣으면 받기부터 실행까지 한 번에 진행돼요.

git clone --depth 1 https://github.com/apify/crawlee-python.git &&
cd crawlee-python &&
uv sync

uv가 없다면: brew install uv · 실행 명령은 README를 확인하세요.

코드는 내 컴퓨터에서 실행돼요 — 처음 보는 레포라면 내용을 한번 훑어보고 실행하는 습관을 추천해요.

README가 안내하는 자세한 단계 보기
  1. 모든 기능을 포함한 Crawlee 설치
python -m pip install 'crawlee[all]'
  1. Playwright 브라우저 드라이버 설치
playwright install
  1. 설치 확인
python -c 'import crawlee; print(crawlee.__version__)'
  1. Crawlee CLI로 프로젝트 생성 (선택사항: 빠른 시작)
uvx 'crawlee[cli]' create my-crawler
  1. 또는 Python 스크립트에서 직접 사용
python your_crawler_script.py

깃밥트라이로 맛보기

받아보기 귀찮고 살짝 불안했다면 — 안전 스캔부터 설치까지 터미널 한 줄로 끝나요.

터미널에 붙여넣으면 깃밥 안전 스캔 → 격리 폴더 clone → 설치 → 실행법 안내까지 자동이에요. 처음이어도 괜찮아요 — 이 한 줄이 전부예요.

npx gitbap-try apify/crawlee-python

Node.js만 있으면 설치 없이 실행돼요 · 깃밥트라이가 뭐예요? →

별 추이 · 7일

9,377+27 / 7일

활용성 · 따라 만들기 좋은가

베스트 샘플샘플 점수 64/100
  • 관대한 라이선스
  • 테스트 있음
  • 예제 디렉토리
  • 최근 활동
  • AGENTS.md
  • llms.txt
  • 템플릿

🟢 최근 활동 있음 · 2024년 생성

「자동화·워크플로우」 이런 레포, 매주 받아보실래요?

매주 월요일 아침, 골라 담은 밥상만. 광고 없이 · 언제든 해지.

내 레포인가요? README에 깃밥 배지 달기
[![깃밥](https://www.gitbap.com/badge/apify/crawlee-python.svg)](https://www.gitbap.com/r/apify/crawlee-python)
🔌 클로드에서 바로 써보기 — 깃밥 연결하는 법

깃밥을 클로드에 연결하면 이런 레포를 클로드·커서·Codex에서 바로 찾고 체험할 수 있어요.

방법 ① 커넥터 URL

클로드 설정 → 커넥터에 이 주소를 붙여넣기.

https://www.gitbap.com/api/mcp
방법 ② 플러그인 (체험까지)

플러그인을 설치하면 /gitbap-trending·/gitbap-try 슬래시 커맨드로 레포를 그 자리에서 체험. Claude Code에서 아래 두 줄을 차례로 실행하세요.

/plugin marketplace add jakeparkcolde/gitbap-cowork
/plugin install gitbap-cowork@gitbap
연결 방법 자세히 →

AI가 README 기반으로 요약했습니다 · 원문 보기