複数の検索エンジン・スクレイピングエンジンに対応した高速ウェブスクレイピング・クローリングツールキット
中辛 の解説
TypeScript + Node.js で構築された本格的なスクレイピングプラットフォームです。Cheerio（軽量）、Playwright（モダンブラウザ）、Puppeteer（Chrome 自動化）の3つのエンジンから選択でき、静的・動的コンテンツ両対応です。REST でクラウド版とセルフホスト版の両方で利用可能で、キャッシング・プロキシ・バッチ処理をサポートしています。バッチスクレイプ機能で数十～数百 URL を一括処理でき、AI 抽出では JSON Schema を指定して構造化データを自動変換できます。難易度は中程度で、セットアップは Compose またはローカルで可能です。
이런 레포예요
이럴 때 쓰면 좋아요
- SEO データ収集・検索順位監視システムの構築
- 競合他社の価格・商品情報の定期監視
- AI エージェント向け web 検索・データ取得バックエンド
- ニュースサイト・ブログの記事を自動収集して RAG システムに供給
핵심 기능
대안 대비 차별점
統一された REST API で複数のスクレイピングエンジンと SERP 検索を抽象化し、LLM 抽出とバッチ処理を標準装備として提供している点が特徴です。
食べた人たち
実際に使ってみた人の記録です — 一言も完走の記録も、確認のうえで公開しています。
このリポジトリの作り方
はじめてですか？ むずかしくありません — 上から順にたどれば、自分の環境で動かして味見できます。
준비물
- Node.js 20 以上
- pnpm パッケージマネージャー
- Docker（Docker Compose での実行時）
すぐ動かしてみるNode.js (pnpm)
ギット飯がリポジトリの構成を確認して組み立てた実行コマンドです。ターミナルに貼り付ければ、取得から実行までまとめて進みます。
git clone --depth 1 https://github.com/any4ai/AnyCrawl.git && cd AnyCrawl && pnpm install && pnpm run dev
コードは自分の環境で動きます — はじめて見るリポジトリなら、中身にひととおり目を通してから実行するのがおすすめです。
README가 안내하는 자세한 단계 보기
- リポジトリをクローンして依存関係をインストールします。
git clone https://github.com/any4ai/AnyCrawl.git
cd AnyCrawl
pnpm install
- セルフホストの場合、API キーを生成します。
pnpm --filter api key:generate
- Docker Compose で起動する場合、以下を実行します。
docker compose up
- ウェブスクレイピング API を呼び出します。
curl -X POST https://api.anycrawl.dev/v1/scrape \
-H 'Content-Type: application/json' \
-H 'Authorization: Bearer YOUR_ANYCRAWL_API_KEY' \
-d '{
"url": "https://example.com",
"engine": "cheerio"
}'
- サイト全体をクローリングする場合、Crawl API を使用します。
curl -X POST https://api.anycrawl.dev/v1/crawl \
-H 'Content-Type: application/json' \
-H 'Authorization: Bearer YOUR_ANYCRAWL_API_KEY' \
-d '{
"url": "https://example.com",
"engine": "playwright",
"max_depth": 2,
"limit": 10
}'
ギット飯トライで味見
入れるのが面倒で少し不安だったなら — 安全スキャンからインストールまで、ターミナル一行で終わります。
ターミナルに貼り付ければ、ギット飯の安全スキャン → 隔離フォルダへ clone → インストール → 実行方法の案内まで自動です。はじめてでも大丈夫 — この一行だけです。
npx gitbap-try any4ai/AnyCrawl
Node.js さえあれば、インストールなしで動きます · ギット飯トライとは？ →
スター推移 · 7日
使いやすさ · まねしやすいか
- ゆるいライセンス
- テストあり
- サンプル集
- 最近の更新
- AGENTS.md
- llms.txt
- テンプレート
最近の更新あり · 2025 年に作成
「데이터·크롤링」 こういうリポジトリを毎週受け取りませんか？
毎週月曜の朝、選んだ一膳だけ。広告なし · いつでも解除。
自分のリポジトリですか？ README にギット飯バッジを貼る
[](https://www.gitbap.com/r/any4ai/AnyCrawl)Claude からそのまま使う — ギット飯のつなぎ方
ギット飯を Claude につなぐと、こうしたリポジトリを Claude・Cursor・Codex から直接さがして試せます。
Claude の設定 → コネクタにこのアドレスを貼り付け。
https://www.gitbap.com/api/mcpプラグインを入れると /gitbap-trending·/gitbap-try のスラッシュコマンドで、その場でリポジトリを試せます。Claude Code で下の 2 行を順に実行してください。
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI が README をもとに要約しました · 原文を見る