🍚 깃밥 PRO가 열렸어요 — 월 3,900원 · 알아보기 →
카테고리

데이터·크롤링

crawler · scraping · data pipeline — 매일 새벽 3시에 새로 차립니다

급상승 · 별이 빠르게 늘고 있는 레포

데이터·크롤링

· 25그릇
unclecode/crawl4ai83,122+1,315

웹을 AI가 이해하는 마크다운으로 변환하는 오픈소스 크롤러

개발 재료맘대로 써도 됨 · Apache-2.0데이터·크롤링난이도
feder-cr/AIHawk30,697+380

AI 에이전트가 자동으로 구직 사이트에 채용 공고를 찾아 지원해주는 봇

🆕 오늘 첫 상설치형 도구맘대로 써도 됨 · MIT데이터·크롤링난이도
firecrawl/firecrawl179,874+2,672

웹 페이지를 크롤링·스크래핑해 LLM이 바로 쓸 수 있는 마크다운·구조화 데이터로 변환해주는 오픈소스 웹 데이터 API

🍚 착한밥상설치형 도구조건 있음 · AGPL-3.0데이터·크롤링난이도
D4Vinci/Scrapling80,709+2,006

현대 웹 크롤링을 위한 적응형 프레임워크로, 반지능적 요소 추적과 안티봇 우회를 지원합니다

개발 재료맘대로 써도 됨 · BSD-3-Clause데이터·크롤링난이도
jo-inc/camofox-browser10,981+1,768

AI 에이전트를 위한 C++ 수준 탐지 우회 브라우저 서버, Camoufox 기반

🍚 착한밥상🍳 레시피설치형 도구맘대로 써도 됨 · MIT데이터·크롤링난이도
BlessedRebuS/Krawl709+63

악성 웹 크롤러와 공격자를 탐지하는 현대적인 웹 허니팟 서버

🍳 레시피완성 앱맘대로 써도 됨 · MIT데이터·크롤링난이도
ScrapeGraphAI/Scrapegraph-ai30,909+279

LLM 기반 웹 스크래핑 라이브러리로 자연어 프롬프트만으로 웹사이트와 로컬 문서에서 데이터를 추출합니다.

🍚 착한밥상베스트 샘플개발 재료맘대로 써도 됨 · MIT데이터·크롤링난이도
zubair-trabzada/geo-seo-claude10,581+266

AI 검색 엔진(ChatGPT, Claude, Perplexity 등)에 최적화된 웹사이트 감시 및 분석 도구

🍳 레시피설치형 도구맘대로 써도 됨 · MIT데이터·크롤링난이도
soxoj/maigret37,510+180

사용자명만으로 3,000개 이상의 사이트에서 계정을 찾아 한 사람의 정보를 수집하는 오픈소스 OSINT 도구

🍚 착한밥상🍳 레시피설치형 도구맘대로 써도 됨 · MIT데이터·크롤링난이도
cporter202/ecommerce-intelligence-apis50+7

이커머스 제품·가격·리뷰·판매자 데이터를 수집하는 API 목록과 플레이북 디렉토리

모음집맘대로 써도 됨 · MIT데이터·크롤링난이도
daijro/camoufox11,865+164

Firefox 기반 오픈소스 안티디텍트 브라우저로, 웹 스크래핑과 AI 에이전트를 위해 설계되었습니다.

🍚 착한밥상설치형 도구맘대로 써도 됨 · MPL-2.0데이터·크롤링난이도
apify/crawlee25,779+108

웹 스크래핑과 브라우저 자동화를 위한 엔드투엔드 Node.js 라이브러리

개발 재료맘대로 써도 됨 · Apache-2.0데이터·크롤링난이도