Rustで最速のウェブクローラー・スクレイパー。HTTPファースト、JavaScriptはオンデマンド実行、ローカル～クラウド対応。

cargo add spider

use spider::{tokio, website::Website};

#[tokio::main]
async fn main() {
    let mut website = Website::new("https://example.com");
    let mut rx = website.subscribe(16);

    tokio::spawn(async move {
        while let Ok(page) = rx.recv().await {
            println!("{}  {}", page.status_code, page.get_url());
        }
    });

    website.crawl().await;
    website.unsubscribe();
}

cargo run