🎁 첫 밥상 · 친구가 보내준 가이드

데이터·크롤링,
첫 술 떠드립니다

웹에 흩어진 데이터, 오늘 직접 모아볼 수 있어요.

🔒 이 페이지는 순한맛 고정

이게 뭔가요 — 1분 설명

크롤링은 웹페이지에 있는 정보를 프로그램으로 자동 수집하는 일이에요. 여러 시장을 돌며 필요한 식재료만 골라 담아오는 거죠. 아래만 있으면 오늘 첫 데이터를 긁어와 표로 정리해볼 수 있어요.

준비물

  • GitHub 계정 만들기 (무료)
  • Python 설치 — 주방 차리기
  • 수집하고 싶은 사이트·데이터 하나 정하기

처음이라면 꼭 알아둘 레포

쉬운 것부터 차례로. 따라 만들기 좋고 검증된 레포만 골랐어요.

1
lorien/awesome-web-scraping

웹 스크래핑 도구, 라이브러리, 매뉴얼을 모아 놓은 큐레이션 리스트

난이도
2
ScrapeGraphAI/Scrapegraph-ai

LLM 기반 웹 스크래핑 라이브러리로 자연어 프롬프트만으로 웹사이트와 로컬 문서에서 데이터를 추출합니다.

난이도
3
apify/crawlee-python

Python 웹 크롤링·스크래핑 라이브러리로 HTTP와 헤드리스 브라우저를 통합 지원

난이도
4
D4Vinci/Scrapling

현대 웹을 위한 적응형 웹 스크래핑 프레임워크

난이도
5
soxoj/maigret

사용자명만으로 3,000개 이상의 사이트에서 계정을 찾아 한 사람의 정보를 수집하는 오픈소스 OSINT 도구

난이도
6
firecrawl/firecrawl

웹을 마크다운이나 구조화된 데이터로 변환하는 AI 친화적 웹 크롤링 API

난이도

매주 새 데이터 레시피 받기

월요일 아침마다, 따라 만들기 좋은 데이터·크롤링 레포만 골라서

받는 친구에게는 항상 순한맛으로 열려요