unclecode/crawl4ai

웹페이지를 LLM이 읽기 좋은 마크다운으로 변환하는 오픈소스 웹 크롤러

개발 재료맘대로 써도 됨 · Apache-2.0AI 에이전트Python난이도

86,570+496이번 주👀 840 찜

9,014포크50이슈

중간맛 분석

웹페이지의 콘텐츠를 정제된 마크다운으로 변환하거나 구조화된 데이터로 추출하는 라이브러리입니다. Python 코드로 URL을 전달하면 비동기 브라우저 풀을 이용해 페이지를 로드하고, 메뉴·푸터 같은 불필요한 콘텐츠를 필터링한 뒤 마크다운을 반환합니다. CSS/XPath 선택자나 LLM을 활용한 구조화된 데이터 추출, 깊은 크롤링(BFS/DFS), 세션 유지, 프록시 지원, 스크린샷·PDF 생성 등이 가능합니다. pip로 설치 후 브라우저를 한 번 셋업하면 바로 사용 가능하며, 로 자신의 서버에 설치해 REST 로 운영할 수도 있고, Crawl4AI Cloud 로 키 하나만으로 관리형 서비스를 쓸 수도 있습니다.

이런 레포예요

이럴 때 쓰면 좋아요

AI 모델 학습용 웹데이터를 정제된 마크다운으로 변환해 RAG 파이프라인에 공급하기
뉴스·상품·가격 정보 등 구조화된 데이터를 자동으로 추출해 데이터 수집 워크플로우 자동화하기
JavaScript로 동적 렌더링되는 웹페이지에서 최신 콘텐츠를 수집해 AI 에이전트의 정보 소스로 활용하기

핵심 기능

JavaScript 실행과 지연 로딩 처리로 동적 페이지 크롤링CSS/XPath 선택자 또는 LLM 기반 구조화된 데이터 추출정제된 마크다운 생성으로 LLM 입력에 최적화

대안 대비 차별점

오픈소스와 클라우드를 선택할 수 있으며, LLM 키 없이도 클라우드에서 AI 기반 추출이 가능하고 MCP로 Claude 등 에이전트와 직접 연동됩니다.

먹어본 사람들

실제로 차려 먹어본 손님들의 흔적이에요 — 한마디와 완주 인증 모두 검수 후 공개돼요.

시식평 · 먹어본 사람 한마디

아직 시식평이 없어요. 먹어보셨다면 첫 한마디를 남겨주세요.

다른 레포 시식평 구경하기 →

이 레포로 만든 것들

🖋 완주 인증하기

아직 이 레포로 만든 완주 인증이 없어요. 첫 밥도장을 찍어보세요!

이 레포, 해먹는 법

처음 오셨어요? 어렵지 않아요 — 위에서 아래로 따라 하면 내 컴퓨터에 이 레포를 차려서 바로 맛볼 수 있어요.

준비물

Python 3.7 이상
Playwright 브라우저 (설치 시 자동 처리)
클라우드 사용 시 API 키
LLM 추출 사용 시 LLM 제공자 API 키 (OpenAI 등)

바로 차려먹기Python (uv)

깃밥이 레포 구조를 확인하고 만든 실행 명령이에요. 터미널에 붙여넣으면 받기부터 실행까지 한 번에 진행돼요.

git clone --depth 1 https://github.com/unclecode/crawl4ai.git &&
cd crawl4ai &&
uv sync

uv가 없다면: brew install uv · 실행 명령은 README를 확인하세요.

코드는 내 컴퓨터에서 실행돼요 — 처음 보는 레포라면 내용을 한번 훑어보고 실행하는 습관을 추천해요.

README가 안내하는 자세한 단계 보기

라이브러리 설치

pip install -U crawl4ai
crawl4ai-setup

간단한 크롤링 실행

python3 << 'EOF'
import asyncio
from crawl4ai import AsyncWebCrawler

async def main():
    async with AsyncWebCrawler() as crawler:
        result = await crawler.arun(url="https://news.ycombinator.com")
        print(result.markdown)

asyncio.run(main())
EOF

또는 Docker 서버로 실행:

Docker 서버 시작

export CRAWL4AI_API_TOKEN="$(openssl rand -hex 32)"
docker run -d -p 11235:11235 --name crawl4ai --shm-size=1g \
  -e CRAWL4AI_API_TOKEN="$CRAWL4AI_API_TOKEN" \
  unclecode/crawl4ai:latest

REST API로 호출

curl -s http://localhost:11235/md \
  -H "Authorization: Bearer $CRAWL4AI_API_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://news.ycombinator.com"}' | jq -r .markdown