웹 크롤링과 브라우저 자동화를 위한 안정적이고 빠른 Python 라이브러리
🍚 착한식당깃밥이 직접 차려 먹고 검증해 선정한 레포예요해설 페이지 →중간맛 분석
Python 3.10+ 기반의 asyncio 라이브러리로, BeautifulSoupCrawler(HTTP+파싱)와 PlaywrightCrawler(헤드리스 브라우저)라는 두 가지 크롤러를 제공합니다. 자동 병렬 처리, 프록시 로테이션, 요청 라우팅, 상태 저장 기능 등이 내장되어 있어 복잡한 크롤링도 간단히 구현할 수 있습니다. 템플릿으로 빠르게 시작할 수 있으며, 타입 힌트가 완전히 지원되어 IDE 자동완성과 정적 타입 검사가 가능합니다. Scrapy 대비 더 간단한 통합과 상태 지속성이 장점입니다.
이런 레포예요
이럴 때 쓰면 좋아요
- JavaScript로 생성되는 동적 콘텐츠가 있는 웹사이트에서 데이터 추출
- 대규모 병렬 크롤링으로 검색 엔진 색인 데이터 수집
- e-커머스 사이트의 상품 정보 모니터링 및 가격 추적
- 웹 자동화가 필요한 애플리케이션 내에 크롤러 직접 통합
핵심 기능
대안 대비 차별점
Asyncio 네이티브 아키텍처로 현대 Python 라이브러리와 seamless하게 통합되며, 독립 런처 없이 일반 Python 스크립트로 실행되고, 중단 후 상태 복구로 비용을 절감할 수 있습니다.
먹어본 사람들
실제로 차려 먹어본 손님들의 흔적이에요 — 한마디와 완주 인증 모두 검수 후 공개돼요.
이 레포, 해먹는 법
처음 오셨어요? 어렵지 않아요 — 위에서 아래로 따라 하면 내 컴퓨터에 이 레포를 차려서 바로 맛볼 수 있어요.
준비물
- Python 3.10 이상
- Playwright (선택적, JavaScript 렌더링 필요 시)
- uv (CLI 템플릿 사용 시 선택적)
바로 차려먹기Python (uv)
깃밥이 레포 구조를 확인하고 만든 실행 명령이에요. 터미널에 붙여넣으면 받기부터 실행까지 한 번에 진행돼요.
git clone --depth 1 https://github.com/apify/crawlee-python.git && cd crawlee-python && uv sync
uv가 없다면: brew install uv · 실행 명령은 README를 확인하세요.
코드는 내 컴퓨터에서 실행돼요 — 처음 보는 레포라면 내용을 한번 훑어보고 실행하는 습관을 추천해요.
README가 안내하는 자세한 단계 보기
- Crawlee를 모든 기능과 함께 설치합니다
python -m pip install 'crawlee[all]'
- Playwright 브라우저 드라이버를 설치합니다
playwright install
- 설치 확인
python -c 'import crawlee; print(crawlee.__version__)'
- Crawlee CLI를 사용해 템플릿으로 새 프로젝트를 생성합니다 (먼저 uv 설치 필요)
uvx 'crawlee[cli]' create my-crawler
- 생성된 프로젝트 디렉토리로 이동하고 크롤러를 실행합니다
cd my-crawler
python -m crawlee.main
깃밥트라이로 맛보기
받아보기 귀찮고 살짝 불안했다면 — 안전 스캔부터 설치까지 터미널 한 줄로 끝나요.
터미널에 붙여넣으면 깃밥 안전 스캔 → 격리 폴더 clone → 설치 → 실행법 안내까지 자동이에요. 처음이어도 괜찮아요 — 이 한 줄이 전부예요.
npx gitbap-try apify/crawlee-python
Node.js만 있으면 설치 없이 실행돼요 · 깃밥트라이가 뭐예요? →
별 추이 · 7일
활용성 · 따라 만들기 좋은가
- 관대한 라이선스
- 테스트 있음
- 예제 디렉토리
- 최근 활동
- AGENTS.md
- llms.txt
- 템플릿
🟢 최근 활동 있음 · 2024년 생성
「자동화·워크플로우」 이런 레포, 매주 받아보실래요?
매주 월요일 아침, 골라 담은 밥상만. 광고 없이 · 언제든 해지.
내 레포인가요? README에 깃밥 배지 달기
[](https://www.gitbap.com/r/apify/crawlee-python)🔌 클로드에서 바로 써보기 — 깃밥 연결하는 법
깃밥을 클로드에 연결하면 이런 레포를 클로드·커서·Codex에서 바로 찾고 체험할 수 있어요.
클로드 설정 → 커넥터에 이 주소를 붙여넣기.
https://www.gitbap.com/api/mcp플러그인을 설치하면 /gitbap-trending·/gitbap-try 슬래시 커맨드로 레포를 그 자리에서 체험. Claude Code에서 아래 두 줄을 차례로 실행하세요.
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI가 README 기반으로 요약했습니다 · 원문 보기