URLをマークダウンやJSON形式の構造化データに変換するRust製Webクローラー・スクレイパーエンジン
中辛 の解説
Rust製のWebクローリング・データ抽出エンジンです。スクレイピング・クロール・マッピング・検索・構造化抽出の5つの機能を提供します。、Python 、Node.js 、MCP（AI agents用）で利用可能です。Firecrawl、Crawl4AIと比較してメモリ使用量14MB以下で精度が高く、ローカル実行とマネージド両方に対応しています。
이런 레포예요
이럴 때 쓰면 좋아요
- 複数のWebサイトから構造化データを一括抽出し、LLMに入力するためのデータパイプラインの構築
- AIエージェント（ClaudeやCodeiumなど）にWeb検索・スクレイピング機能を追加するMCPサーバーとしての利用
- 組織内のプライベートネットワークやカスタム認証が必要なサイトからのデータ抽出をローカル実行で実現
핵심 기능
대안 대비 차별점
Firecrawl公式の1000URL検証セットでRecall精度が高く、メモリ使用量が14MB以下で、マネージドAPIと完全なセルフホスト型の両方を同時に提供する点が競合他社と異なります。
食べた人たち
実際に使ってみた人の記録です — 一言も完走の記録も、確認のうえで公開しています。
このリポジトリの作り方
はじめてですか？ むずかしくありません — 上から順にたどれば、自分の環境で動かして味見できます。
준비물
- Rust 1.85以上（開発・自己ホスト時）
- Python 3.7以上（Python SDK利用時）
- Node.js（Node.js SDK・MCPサーバー利用時）
すぐ動かしてみるNode.js (npm)
ギット飯がリポジトリの構成を確認して組み立てた実行コマンドです。ターミナルに貼り付ければ、取得から実行までまとめて進みます。
git clone --depth 1 https://github.com/us/crw.git && cd crw && npm install
실행 명령은 README를 확인하세요.
コードは自分の環境で動きます — はじめて見るリポジトリなら、中身にひととおり目を通してから実行するのがおすすめです。
README가 안내하는 자세한 단계 보기
- インストールスクリプトを実行してfastCRWをセットアップします
curl -fsSL https://fastcrw.com/install | sh
- クラウドAPIを使う場合は初期設定を実行します（1000クレジット無料）
crw setup
- CLIでURLをスクレイピングします
crw https://example.com
- Python SDKを使う場合、APIキーを環境変数に設定します
export CRW_API_KEY="crw_live_..."
pip install crw
- Pythonコードでスクレイピングを実行します
python -c "from crw import CrwClient; client = CrwClient(); page = client.scrape('https://example.com', formats=['markdown']); print(page['markdown'])"
- Node.js SDKでも同様に利用できます
npm install crw-sdk
ギット飯トライで味見
入れるのが面倒で少し不安だったなら — 安全スキャンからインストールまで、ターミナル一行で終わります。
ターミナルに貼り付ければ、ギット飯の安全スキャン → 隔離フォルダへ clone → インストール → 実行方法の案内まで自動です。はじめてでも大丈夫 — この一行だけです。
npx gitbap-try us/crw
Node.js さえあれば、インストールなしで動きます · ギット飯トライとは？ →
スター推移 · 7日
使いやすさ · まねしやすいか
- ゆるいライセンス
- テストあり
- サンプル集
- 最近の更新
- AGENTS.md
- llms.txt
- テンプレート
最近の更新あり · 2026 年に作成
「데이터·크롤링」 こういうリポジトリを毎週受け取りませんか？
毎週月曜の朝、選んだ一膳だけ。広告なし · いつでも解除。
自分のリポジトリですか？ README にギット飯バッジを貼る
[](https://www.gitbap.com/r/us/crw)Claude からそのまま使う — ギット飯のつなぎ方
ギット飯を Claude につなぐと、こうしたリポジトリを Claude・Cursor・Codex から直接さがして試せます。
Claude の設定 → コネクタにこのアドレスを貼り付け。
https://www.gitbap.com/api/mcpプラグインを入れると /gitbap-trending·/gitbap-try のスラッシュコマンドで、その場でリポジトリを試せます。Claude Code で下の 2 行を順に実行してください。
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI が README をもとに要約しました · 原文を見る