Cloudflare 우회와 적응형 파싱을 갖춘 현대적 웹 스크래핑 프레임워크
중간맛 분석
스택: Python 기반, Playwright 및 Puppeteer 엔진 지원, async/await 패턴. 난이도: 입문자부터 고급자까지 (기본 사용법은 쉽지만, 스파이더 고급 설정은 중급 이상). 바로 쓸 수 있음: 예. Fetcher로 한두 줄로 페이지를 긁을 수 있고, 템플릿 스파이더(Shopify 등)로 복잡한 로직 없이 전체 스토어 데이터 수집 가능. 데모: 에 기본 사용법, 스텔스 모드, 풀 브라우저 자동화, 스파이더 예제 포함.
이런 레포예요
이럴 때 쓰면 좋아요
- 이커머스 사이트의 상품 정보 대량 수집 및 자동 모니터링
- 보호된 웹사이트의 데이터 추출 (Cloudflare, 로그인 필수 페이지 등)
- 뉴스·블로그 아카이빙이나 시간대별 콘텐츠 변화 추적
- AI 에이전트 기반 자동 데이터 수집 워크플로우 구축 (MCP 서버 연동)
핵심 기능
대안 대비 차별점
Scrapling은 Scrapy의 복잡성 없이도 고급 스텔스 모드와 Cloudflare 우회를 제공하며, BeautifulSoup과 달리 동적 페이지를 자동화할 수 있고, 페이지 구조 변경 시 수동 수정 없이 자동 재학습하는 유일한 웹 스크래핑 프레임워크입니다.
먹어본 사람들
실제로 차려 먹어본 손님들의 흔적이에요 — 한마디와 완주 인증 모두 검수 후 공개돼요.
이 레포, 해먹는 법
처음 오셨어요? 어렵지 않아요 — 위에서 아래로 따라 하면 내 컴퓨터에 이 레포를 차려서 바로 맛볼 수 있어요.
준비물
- Python 3.7+
- pip 패키지 관리자
바로 차려먹기Python (uv)
깃밥이 레포 구조를 확인하고 만든 실행 명령이에요. 터미널에 붙여넣으면 받기부터 실행까지 한 번에 진행돼요.
git clone --depth 1 https://github.com/D4Vinci/Scrapling.git && cd Scrapling && uv sync
uv가 없다면: brew install uv · 실행 명령은 README를 확인하세요.
코드는 내 컴퓨터에서 실행돼요 — 처음 보는 레포라면 내용을 한번 훑어보고 실행하는 습관을 추천해요.
README가 안내하는 자세한 단계 보기
- Scrapling 설치
pip install scrapling
- 기본 HTTP 요청으로 데이터 추출
python -c "from scrapling.fetchers import Fetcher; page = Fetcher.get('https://quotes.toscrape.com/'); print(page.css('.quote .text::text').getall())"
- 스텔스 모드로 보호된 웹사이트 접근
python -c "from scrapling.fetchers import StealthyFetcher; page = StealthyFetcher.fetch('https://nopecha.com/demo/cloudflare'); print(page.css('#padded_content a').getall())"
- Spider 클래스로 전체 크롤링 작업 수행
python << 'EOF'
from scrapling.spiders import Spider, Response
class QuotesSpider(Spider):
name = "quotes"
start_urls = ["https://quotes.toscrape.com/"]
concurrent_requests = 10
async def parse(self, response: Response):
for quote in response.css('.quote'):
yield {"text": quote.css('.text::text').get(), "author": quote.css('.author::text').get()}
next_page = response.css('.next a')
if next_page:
yield response.follow(next_page[0].attrib['href'])
result = QuotesSpider().start()
result.items.to_json("quotes.json")
EOF
- 중단/재개 기능을 포함한 대규모 크롤링
python -c "from __main__ import QuotesSpider; QuotesSpider(crawldir='./crawl_data').start()"
(Ctrl+C로 일시 중지, 같은 crawldir로 다시 실행하면 재개)
깃밥트라이로 맛보기
받아보기 귀찮고 살짝 불안했다면 — 안전 스캔부터 설치까지 터미널 한 줄로 끝나요.
터미널에 붙여넣으면 깃밥 안전 스캔 → 격리 폴더 clone → 설치 → 실행법 안내까지 자동이에요. 처음이어도 괜찮아요 — 이 한 줄이 전부예요.
npx gitbap-try D4Vinci/Scrapling
Node.js만 있으면 설치 없이 실행돼요 · 깃밥트라이가 뭐예요? →
별 추이 · 7일
확인 시각
활용성 · 따라 만들기 좋은가
- 관대한 라이선스
- 테스트 있음
- 예제 디렉토리
- 최근 활동
- AGENTS.md
- llms.txt
- 템플릿
🟢 최근 활동 있음 · 2024년 생성
「자동화·워크플로우」 이런 레포, 매주 받아보실래요?
매주 월요일 아침, 골라 담은 밥상만. 광고 없이 · 언제든 해지.
내 레포인가요? README에 깃밥 배지 달기
[](https://www.gitbap.com/r/D4Vinci/Scrapling)🔌 클로드에서 바로 써보기 — 깃밥 연결하는 법
깃밥을 클로드에 연결하면 이런 레포를 클로드·커서·Codex에서 바로 찾고 체험할 수 있어요.
클로드 설정 → 커넥터에 이 주소를 붙여넣기.
https://www.gitbap.com/api/mcp플러그인을 설치하면 /gitbap-trending·/gitbap-try 슬래시 커맨드로 레포를 그 자리에서 체험. Claude Code에서 아래 두 줄을 차례로 실행하세요.
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI가 README 기반으로 요약했습니다 · 원문 보기