🎁 첫 밥상 · 친구가 보내준 가이드

데이터·크롤링,
첫 술 떠드립니다

웹에 흩어진 데이터, 오늘 직접 모아볼 수 있어요.

🔒 이 페이지는 순한맛 고정

크롤링은 웹페이지에 있는 정보를 프로그램으로 자동 수집하는 일이에요. 여러 시장을 돌며 필요한 식재료만 골라 담아오는 거죠. 아래만 있으면 오늘 첫 데이터를 긁어와 표로 정리해볼 수 있어요.

쉬운 것부터 차례로. 따라 만들기 좋고 검증된 레포만 골랐어요.

인터넷의 웹사이트를 로컬 컴퓨터에 완전히 복제하는 Go 기반 웹사이트 다운로더

LLM 기반 웹 스크래핑 라이브러리로 자연어 프롬프트만으로 웹사이트와 로컬 문서에서 데이터를 추출합니다.

Python 웹 크롤링·스크래핑 라이브러리로 HTTP와 헤드리스 브라우저를 통합 지원

사용자명만으로 3,000개 이상의 사이트에서 계정을 찾아 한 사람의 정보를 수집하는 오픈소스 OSINT 도구

웹 페이지를 크롤링·스크래핑해 LLM이 바로 쓸 수 있는 마크다운·구조화 데이터로 변환해주는 오픈소스 웹 데이터 API

Go로 쓴 초고속 웹 스크래핑 프레임워크

월요일 아침마다, 따라 만들기 좋은 데이터·크롤링 레포만 골라서