카테고리

데이터·크롤링

crawler · scraping · data pipeline — 매일 새벽 3시에 새로 차립니다

이 분야가 처음이세요?기초부터 차근차근 — 입문 가이드 떠먹여 드려요

급상승 · 별이 빠르게 늘고 있는 레포

firecrawl/firecrawl133,233+2,634

웹을 마크다운이나 구조화된 데이터로 변환하는 AI 친화적 웹 크롤링 API

완성 앱조건 있음 · AGPL-3.0데이터·크롤링난이도
D4Vinci/Scrapling64,015+1,398

현대 웹을 위한 적응형 웹 스크래핑 프레임워크

개발 재료맘대로 써도 됨 · BSD-3-Clause데이터·크롤링난이도
soxoj/maigret33,129+580

사용자명만으로 3,000개 이상의 사이트에서 계정을 찾아 한 사람의 정보를 수집하는 오픈소스 OSINT 도구

설치형 도구맘대로 써도 됨 · MIT데이터·크롤링난이도
ScrapeGraphAI/Scrapegraph-ai27,245+448

LLM 기반 웹 스크래핑 라이브러리로 자연어 프롬프트만으로 웹사이트와 로컬 문서에서 데이터를 추출합니다.

베스트 샘플개발 재료맘대로 써도 됨 · MIT데이터·크롤링난이도
apify/crawlee23,782+352

웹 스크래핑과 브라우저 자동화를 위한 엔드투엔드 Node.js 라이브러리

개발 재료맘대로 써도 됨 · Apache-2.0데이터·크롤링난이도
gocolly/colly25,334+360

Go로 쓴 초고속 웹 스크래핑 프레임워크

개발 재료맘대로 써도 됨 · Apache-2.0데이터·크롤링난이도
daijro/camoufox9,265+182

웹 스크래핑과 AI 에이전트를 위해 설계된 오픈소스 안티디텍트 Firefox 포크

설치형 도구맘대로 써도 됨 · MPL-2.0데이터·크롤링난이도
apify/crawlee-python9,197+140

Python 웹 크롤링·스크래핑 라이브러리로 HTTP와 헤드리스 브라우저를 통합 지원

베스트 샘플개발 재료맘대로 써도 됨 · Apache-2.0데이터·크롤링난이도
jo-inc/camofox-browser6,797+0

AI 에이전트를 위한 봇 탐지 우회 브라우저 서버

설치형 도구맘대로 써도 됨 · MIT데이터·크롤링난이도
adbar/trafilatura6,126+0

웹에서 HTML을 정제된 텍스트와 메타데이터로 추출하는 Python 웹 스크래핑 라이브러리

개발 재료맘대로 써도 됨 · Apache-2.0데이터·크롤링난이도
lorien/awesome-web-scraping7,930+0

웹 스크래핑 도구, 라이브러리, 매뉴얼을 모아 놓은 큐레이션 리스트

모음집확인 필요 · NOASSERTION데이터·크롤링난이도
autoscrape-labs/pydoll6,909+0

CDP 직접 연결로 WebDriver 바이너리 없이 Chrome/Edge를 자동화하고 Pydantic 추출 엔진으로 DOM을 타입된 Python 객체로 변환

개발 재료맘대로 써도 됨 · MIT데이터·크롤링난이도