Goで書く高速なウェブスクレイピングとクローリングフレームワーク
優良食堂ギット飯が実際に動かして検証し、選んだリポジトリです解説ページへ →中辛 の解説
Goの標準HTTPライブラリを拡張した高性能なスクレイピングフレームワークです。秒あたり1,000件以上のリクエスト処理が可能で、リクエスト遅延とドメイン別の最大並行数を自動管理します。同期・非同期・並列スクレイピングに対応し、キャッシング、自動エンコード変換、Robots.txt対応、分散スクレイピング機能を備えています。セットアップは go get github.com/gocolly/colly/v2 で完了し、シンプルなGoコードですぐに運用できます。
こんなリポジトリです
こんなときに便利です
- ウェブサイトから商品情報や価格データを定期的に抽出して分析する
- 複数のニュースサイトから記事のタイトルと本文を集約する
- 不動産サイトや求人情報サイトの掲載物件・職種データをローカルデータベースに保存する
主な機能
ほかとの違い
ブラウザ自動化に依らない軽量なHTMLパースで、BeautifulSoupやSeleniumよりも静的ページ抽出は圧倒的に高速かつメモリ効率的です。
このリポジトリの作り方
はじめてですか？ むずかしくありません — 上から順にたどれば、自分の環境で動かして味見できます。
準備するもの
- Go 1.11以上
すぐに始める
- Go 1.11以上が入っていることを確認してください。
go version
- プロジェクトディレクトリでCollyを取得します。
go get github.com/gocolly/colly/v2
main.goファイルを作成し、基本的なスクレイパーを書きます。
package main
import (
"fmt"
"github.com/gocolly/colly/v2"
)
func main() {
c := colly.NewCollector()
c.OnHTML("a[href]", func(e *colly.HTMLElement) {
link := e.Attr("href")
fmt.Println(link)
})
c.OnRequest(func(r *colly.Request) {
fmt.Println("Visiting", r.URL)
})
c.Visit("http://go-colly.org/")
}
- プログラムを実行します。
go run main.go
ギット飯トライで味見
入れるのが面倒で少し不安だったなら — 安全スキャンからインストールまで、ターミナル一行で終わります。
ターミナルに貼り付ければ、ギット飯の安全スキャン → 隔離フォルダへ clone → インストール → 実行方法の案内まで自動です。はじめてでも大丈夫 — この一行だけです。
npx gitbap-try gocolly/colly
Node.js さえあれば、インストールなしで動きます · ギット飯トライとは？ →
スター推移 · 7日
確認日時
使いやすさ · まねしやすいか
- ゆるいライセンス
- テストあり
- サンプル集
- 最近の更新
- AGENTS.md
- llms.txt
- テンプレート
最近の更新あり · 2017 年に作成
「データ・クローリング」 こういうリポジトリを毎週受け取りませんか？
毎週月曜の朝、選んだ一膳だけ。広告なし · いつでも解除。
自分のリポジトリですか？ README にギット飯バッジを貼る
[](https://www.gitbap.com/r/gocolly/colly)Claude からそのまま使う — ギット飯のつなぎ方
ギット飯を Claude につなぐと、こうしたリポジトリを Claude・Cursor・Codex から直接さがして試せます。
Claude の設定 → コネクタにこのアドレスを貼り付け。
https://www.gitbap.com/api/mcpプラグインを入れると /gitbap-trending·/gitbap-try のスラッシュコマンドで、その場でリポジトリを試せます。Claude Code で下の 2 行を順に実行してください。
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI が README をもとに要約しました · 原文を見る