🎁 첫 밥상 · 친구가 보내준 가이드
데이터·크롤링,
첫 술 떠드립니다
웹에 흩어진 데이터, 오늘 직접 모아볼 수 있어요.
🔒 이 페이지는 순한맛 고정
이게 뭔가요 — 1분 설명
크롤링은 웹페이지에 있는 정보를 프로그램으로 자동 수집하는 일이에요. 여러 시장을 돌며 필요한 식재료만 골라 담아오는 거죠. 아래만 있으면 오늘 첫 데이터를 긁어와 표로 정리해볼 수 있어요.
준비물
- GitHub 계정 만들기 (무료)
- Python 설치 — 주방 차리기
- 수집하고 싶은 사이트·데이터 하나 정하기
처음이라면 꼭 알아둘 레포
쉬운 것부터 차례로. 따라 만들기 좋고 검증된 레포만 골랐어요.
1lorien/awesome-web-scraping
난이도2웹 스크래핑 도구, 라이브러리, 매뉴얼을 모아 놓은 큐레이션 리스트
ScrapeGraphAI/Scrapegraph-ai
난이도3LLM 기반 웹 스크래핑 라이브러리로 자연어 프롬프트만으로 웹사이트와 로컬 문서에서 데이터를 추출합니다.
apify/crawlee-python
난이도4Python 웹 크롤링·스크래핑 라이브러리로 HTTP와 헤드리스 브라우저를 통합 지원
D4Vinci/Scrapling
난이도5현대 웹을 위한 적응형 웹 스크래핑 프레임워크
soxoj/maigret
난이도6사용자명만으로 3,000개 이상의 사이트에서 계정을 찾아 한 사람의 정보를 수집하는 오픈소스 OSINT 도구
firecrawl/firecrawl
난이도웹을 마크다운이나 구조화된 데이터로 변환하는 AI 친화적 웹 크롤링 API
매주 새 데이터 레시피 받기
월요일 아침마다, 따라 만들기 좋은 데이터·크롤링 레포만 골라서