ウェブを LLM 対応のクリーンなマークダウンに変換する、オープンソースの高速クローラー・スクレイパーです。
中辛 の解説
Python ベースの非同期クローラーで、Playwright によるブラウザ制御、BM25・コサイン類似度を用いた Content Filter、LLM との連携による構造化抽出などに対応しています。セットアップは pip install crawl4ai と crawl4ai-setup で完了し、数行の Python コードまたはコマンドラインで即座に利用可能です。 デプロイメント時は、ダッシュボード・モニタリング・ サーバーが組み込まれており、スケーラブルな運用ができます。
이런 레포예요
이럴 때 쓰면 좋아요
- RAG・検索拡張生成システム向けのウェブデータ抽出と前処理
- AI エージェント用のウェブスクレイピングと構造化データ抽出
- 大規模データパイプラインでの自動ウェブクロール
핵심 기능
대안 대비 차별점
認証・キャッシング・セッション管理・BM25 フィルタリングが組み込まれており、設定なしで企業規模のクロールに対応する一方、LLM との統合により、単なるスクレイピングを超えた意味的なコンテンツ抽出が実現できます。
食べた人たち
実際に使ってみた人の記録です — 一言も完走の記録も、確認のうえで公開しています。
このリポジトリの作り方
はじめてですか？ むずかしくありません — 上から順にたどれば、自分の環境で動かして味見できます。
준비물
- Python 3.8 以上
- Playwright（自動インストール可能）
すぐ動かしてみるPython (uv)
ギット飯がリポジトリの構成を確認して組み立てた実行コマンドです。ターミナルに貼り付ければ、取得から実行までまとめて進みます。
git clone --depth 1 https://github.com/unclecode/crawl4ai.git && cd crawl4ai && uv sync
uv가 없다면: brew install uv · 실행 명령은 README를 확인하세요.
コードは自分の環境で動きます — はじめて見るリポジトリなら、中身にひととおり目を通してから実行するのがおすすめです。
README가 안내하는 자세한 단계 보기
- Crawl4AI をインストールします。
pip install -U crawl4ai
- ブラウザとセットアップを実行します。
crawl4ai-setup
crawl4ai-doctor
- Python スクリプトでクロール実行します。
import asyncio
from crawl4ai import *
async def main():
async with AsyncWebCrawler() as crawler:
result = await crawler.arun(
url="https://www.nbcnews.com/business",
)
print(result.markdown)
if __name__ == "__main__":
asyncio.run(main())
- または、CLI でクロールします。
crwl https://www.nbcnews.com/business -o markdown
- 深いクロールと複数ページ取得も可能です。
crwl https://docs.crawl4ai.com --deep-crawl bfs --max-pages 10
ギット飯トライで味見
入れるのが面倒で少し不安だったなら — 安全スキャンからインストールまで、ターミナル一行で終わります。
ターミナルに貼り付ければ、ギット飯の安全スキャン → 隔離フォルダへ clone → インストール → 実行方法の案内まで自動です。はじめてでも大丈夫 — この一行だけです。
npx gitbap-try unclecode/crawl4ai
Node.js さえあれば、インストールなしで動きます · ギット飯トライとは？ →
スター推移 · 7日
使いやすさ · まねしやすいか
- ゆるいライセンス
- テストあり
- サンプル集
- 最近の更新
- AGENTS.md
- llms.txt
- テンプレート
更新の情報なし · 2024 年に作成
「데이터·크롤링」 こういうリポジトリを毎週受け取りませんか？
毎週月曜の朝、選んだ一膳だけ。広告なし · いつでも解除。
自分のリポジトリですか？ README にギット飯バッジを貼る
[](https://www.gitbap.com/r/unclecode/crawl4ai)Claude からそのまま使う — ギット飯のつなぎ方
ギット飯を Claude につなぐと、こうしたリポジトリを Claude・Cursor・Codex から直接さがして試せます。
Claude の設定 → コネクタにこのアドレスを貼り付け。
https://www.gitbap.com/api/mcpプラグインを入れると /gitbap-trending·/gitbap-try のスラッシュコマンドで、その場でリポジトリを試せます。Claude Code で下の 2 行を順に実行してください。
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI が README をもとに要約しました · 原文を見る