🕸️ 데이터·크롤링

웹 페이지를 크롤링·스크래핑해 LLM이 바로 쓸 수 있는 마크다운·구조화 데이터로 변환해주는 오픈소스 웹 데이터 API

Playwright 기반 자동화로 소홍서·틱톡·빌리빌리·웨이보 등 중국 소셜 미디어에서 공개 정보를 수집하는 멀티플랫폼 크롤러

한국 정부·공공기관 지원사업을 자동으로 전수조사하고 프로젝트에 맞는 기회를 3단계로 분류해주는 Claude Code 스킬

현대 웹 크롤링을 위한 적응형 프레임워크로, 반지능적 요소 추적과 안티봇 우회를 지원합니다

웹을 AI가 이해하는 마크다운으로 변환하는 오픈소스 크롤러

118개의 즉시 실행 가능한 웹 데이터 수집 API를 카테고리별로 정리한 CoreClaw Workers 디렉토리

웹 스크래핑과 AI 에이전트를 위한 오픈소스 안티디텍트 브라우저

AI 에이전트를 위한 C++ 수준 탐지 우회 브라우저 서버, Camoufox 기반

BOSS직聘 채용공고를 Chrome CDP로 크롤링하여 명문 연봉 데이터와 채용 분석을 제공하는 도구

러시아·중국 마켓플레이스(Wildberries, Ozon, 야ndex, Avito, Taobao 등) 데이터를 Claude에 연결하는 MCP 서버 모음

사용자명만으로 3,000개 이상의 사이트에서 계정을 찾아 한 사람의 정보를 수집하는 오픈소스 OSINT 도구

창업자를 위한 올인원 셀프호스팅 SEO 모니터링 대시보드 (완전 무료·오픈소스)