LIBRARY COLLECTION
웹 스크래핑 & 브라우저 자동화
구조화된 데이터 수집부터 브라우저 자동 제어까지, 크롤링과 자동화 작업에 쓰이는 라이브러리들입니다.
scrapy/scrapy🔒 PRO
웹사이트에서 구조화된 데이터를 추출하는 Python 웹 스크래핑 프레임워크
gocolly/colly🔒 PRO
Go로 쓴 초고속 웹 스크래핑 프레임워크
apify/fingerprint-suite🔒 PRO
브라우저 지문을 생성하고 Playwright/Puppeteer에 주입하여 웹 스크래핑 탐지를 우회하는 도구 모음
ScrapeGraphAI/Scrapegraph-ai🔒 PRO
LLM과 그래프 로직으로 웹사이트와 로컬 문서에서 정보를 추출하는 AI 기반 웹 스크래핑 라이브러리
puppeteer/puppeteer🔒 PRO
Chrome/Firefox를 프로그래밍으로 제어하는 고수준 Node.js 라이브러리
microsoft/playwright🔒 PRO
Chromium, Firefox, WebKit을 하나의 API로 제어하는 웹 자동화 및 테스트 프레임워크
iiab/iiab🔒 PRO
인터넷 없는 지역을 위해 위키백과·칸 아카데미·전자책 등 세계 지식을 담은 오프라인 학습 서버