LLM 기반 웹 스크래핑 라이브러리로 자연어 프롬프트만으로 웹사이트와 로컬 문서에서 데이터를 추출합니다.
중간맛 분석
Python 라이브러리로 OpenAI, Groq, Azure, Gemini 등의 나 Ollama를 통한 로컬 모델을 지원합니다. SmartScraperGraph(단일 페이지), SearchGraph(검색결과 크롤링), SmartScraperMultiGraph(다중 페이지) 등 6가지 파이프라인으로 다양한 상황에 대응할 수 있습니다. 바로 실행 가능한 예제가 에 있어 빠르게 시작할 수 있으며, playwright 설치 후 몇 줄의 코드로 웹 데이터 추출이 가능합니다. 공식 와 Python/Node.js 도 제공합니다.
이런 레포예요
이럴 때 쓰면 좋아요
- 자연어로 웹사이트 구조 분석 없이 필요한 데이터만 추출하기
- 검색 결과에서 자동으로 여러 페이지의 정보 수집하기
- AI 에이전트나 RAG 시스템에 사용할 웹 데이터 준비하기
핵심 기능
대안 대비 차별점
CSS 선택자 없이 LLM과 그래프 로직으로 페이지 구조 변화에 강인하며, Langchain/Crew.ai 등 주요 LLM 프레임워크와의 네이티브 통합을 제공합니다.
먹어본 사람들
실제로 차려 먹어본 손님들의 흔적이에요 — 한마디와 완주 인증 모두 검수 후 공개돼요.
이 레포, 해먹는 법
처음 오셨어요? 어렵지 않아요 — 위에서 아래로 따라 하면 내 컴퓨터에 이 레포를 차려서 바로 맛볼 수 있어요.
준비물
- Python
- Playwright
- LLM API 키 또는 Ollama
바로 차려먹기Python (uv)
깃밥이 레포 구조를 확인하고 만든 실행 명령이에요. 터미널에 붙여넣으면 받기부터 실행까지 한 번에 진행돼요.
git clone --depth 1 https://github.com/ScrapeGraphAI/Scrapegraph-ai.git && cd Scrapegraph-ai && uv sync
uv가 없다면: brew install uv · 실행 명령은 README를 확인하세요.
코드는 내 컴퓨터에서 실행돼요 — 처음 보는 레포라면 내용을 한번 훑어보고 실행하는 습관을 추천해요.
README가 안내하는 자세한 단계 보기
- pip을 사용해 라이브러리를 설치합니다.
pip install scrapegraphai
- 웹 콘텐츠 페칭을 위해 playwright를 설치합니다.
playwright install
- Python 파일을 작성하고 SmartScraperGraph를 초기화합니다. Ollama를 사용할 경우:
from scrapegraphai.graphs import SmartScraperGraph
graph_config = {
"llm": {
"model": "ollama/llama3.2",
"model_tokens": 8192,
"format": "json",
},
"verbose": True,
"headless": False,
}
smart_scraper_graph = SmartScraperGraph(
prompt="Extract useful information from the webpage, including a description of what the company does, founders and social media links",
source="https://scrapegraphai.com/",
config=graph_config
)
- 파이프라인을 실행하고 결과를 출력합니다.
result = smart_scraper_graph.run()
import json
print(json.dumps(result, indent=4))
참고: OpenAI 등 다른 LLM을 사용할 경우 llm 설정만 변경합니다:
graph_config = {
"llm": {
"api_key": "YOUR_OPENAI_API_KEY",
"model": "openai/gpt-4o-mini",
},
"verbose": True,
"headless": False,
}
깃밥트라이로 맛보기
받아보기 귀찮고 살짝 불안했다면 — 안전 스캔부터 설치까지 터미널 한 줄로 끝나요.
터미널에 붙여넣으면 깃밥 안전 스캔 → 격리 폴더 clone → 설치 → 실행법 안내까지 자동이에요. 처음이어도 괜찮아요 — 이 한 줄이 전부예요.
npx gitbap-try ScrapeGraphAI/Scrapegraph-ai
Node.js만 있으면 설치 없이 실행돼요 · 깃밥트라이가 뭐예요? →
별 추이 · 7일
활용성 · 따라 만들기 좋은가
- 관대한 라이선스
- 테스트 있음
- 예제 디렉토리
- 최근 활동
- AGENTS.md
- llms.txt
- 템플릿
🟢 최근 활동 있음 · 2024년 생성
「데이터·크롤링」 이런 레포, 매주 받아보실래요?
매주 월요일 아침, 골라 담은 밥상만. 광고 없이 · 언제든 해지.
내 레포인가요? README에 깃밥 배지 달기
[](https://www.gitbap.com/r/ScrapeGraphAI/Scrapegraph-ai)🔌 클로드에서 바로 써보기 — 깃밥 연결하는 법
깃밥을 클로드에 연결하면 이런 레포를 클로드·커서·Codex에서 바로 찾고 체험할 수 있어요.
클로드 설정 → 커넥터에 이 주소를 붙여넣기.
https://www.gitbap.com/api/mcp플러그인을 설치하면 /gitbap-trending·/gitbap-try 슬래시 커맨드로 레포를 그 자리에서 체험. Claude Code에서 아래 두 줄을 차례로 실행하세요.
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI가 README 기반으로 요약했습니다 · 원문 보기