Rustで最速のウェブクローラー・スクレイパー。HTTPファースト、JavaScriptはオンデマンド実行、ローカル～クラウド対応。
中辛 の解説
Rustで書かれた高性能クローラーで、非同期・並行処理が得意です。HTTPリクエストとheadless Chrome（JavaScript実行）の両方をサポートし、必要に応じて自動で切り替えます。ストリーミング形式でページが次々と取得でき、プロキシ・リトライ・レート制限・ステルスモードなど実運用に必要な機能が組み込まれています。ローカルで動かすか、SpiderCloudというマネージドサービスに接続するか選べます。内の公式サンプルで即座に動かせます。
이런 레포예요
이럴 때 쓰면 좋아요
- LLMおよびRAGパイプラインのためにウェブコンテンツをベクトルストアに投入する際に活用できます。
- サイトのSEO変動や価格変動をリアルタイムで監視し、アラート・通知を発行する用途に適しています。
- ウェブページをMarkdown・JSON・WARC形式にエクスポートしたり、AI自動化エージェントがheadless Chromeを操作する際に使えます。
핵심 기능
대안 대비 차별점
BeautifulSoup・Puppeteerなど個別ツールと異なり、HTTP・ブラウザ自動化を統一API＆ストリーミング優先設計で統合し、ローカル～クラウド間での実装変更が不要な点が特徴です。
食べた人たち
実際に使ってみた人の記録です — 一言も完走の記録も、確認のうえで公開しています。
このリポジトリの作り方
はじめてですか？ むずかしくありません — 上から順にたどれば、自分の環境で動かして味見できます。
준비물
- Rust 1.56以上
すぐ動かしてみるRust (cargo)
ギット飯がリポジトリの構成を確認して組み立てた実行コマンドです。ターミナルに貼り付ければ、取得から実行までまとめて進みます。
git clone --depth 1 https://github.com/spider-rs/spider.git && cd spider && cargo run
コードは自分の環境で動きます — はじめて見るリポジトリなら、中身にひととおり目を通してから実行するのがおすすめです。
README가 안내하는 자세한 단계 보기
- プロジェクトにspiderクレートを追加する
cargo add spider
- 以下のRustコードを作成・実行する
use spider::{tokio, website::Website};
#[tokio::main]
async fn main() {
let mut website = Website::new("https://example.com");
let mut rx = website.subscribe(16);
tokio::spawn(async move {
while let Ok(page) = rx.recv().await {
println!("{} {}", page.status_code, page.get_url());
}
});
website.crawl().await;
website.unsubscribe();
}
- 以下のコマンドで実行する
cargo run
ギット飯トライで味見
入れるのが面倒で少し不安だったなら — 安全スキャンからインストールまで、ターミナル一行で終わります。
ターミナルに貼り付ければ、ギット飯の安全スキャン → 隔離フォルダへ clone → インストール → 実行方法の案内まで自動です。はじめてでも大丈夫 — この一行だけです。
npx gitbap-try spider-rs/spider
Node.js さえあれば、インストールなしで動きます · ギット飯トライとは？ →
スター推移 · 7日
使いやすさ · まねしやすいか
- ゆるいライセンス
- テストあり
- サンプル集
- 最近の更新
- AGENTS.md
- llms.txt
- テンプレート
最近の更新あり · 2018 年に作成
「AI 에이전트」 こういうリポジトリを毎週受け取りませんか？
毎週月曜の朝、選んだ一膳だけ。広告なし · いつでも解除。
自分のリポジトリですか？ README にギット飯バッジを貼る
[](https://www.gitbap.com/r/spider-rs/spider)Claude からそのまま使う — ギット飯のつなぎ方
ギット飯を Claude につなぐと、こうしたリポジトリを Claude・Cursor・Codex から直接さがして試せます。
Claude の設定 → コネクタにこのアドレスを貼り付け。
https://www.gitbap.com/api/mcpプラグインを入れると /gitbap-trending·/gitbap-try のスラッシュコマンドで、その場でリポジトリを試せます。Claude Code で下の 2 行を順に実行してください。
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI が README をもとに要約しました · 原文を見る