Goで書く高速なウェブスクレイピングとクローリングフレームワーク
中辛 の解説
Goの標準HTTPライブラリを拡張した高性能なスクレイピングフレームワークです。秒あたり1,000件以上のリクエスト処理が可能で、リクエスト遅延とドメイン別の最大並行数を自動管理します。同期・非同期・並列スクレイピングに対応し、キャッシング、自動エンコード変換、Robots.txt対応、分散スクレイピング機能を備えています。セットアップは go get github.com/gocolly/colly/v2 で完了し、シンプルなGoコードですぐに運用できます。
이런 레포예요
이럴 때 쓰면 좋아요
- ウェブサイトから商品情報や価格データを定期的に抽出して分析する
- 複数のニュースサイトから記事のタイトルと本文を集約する
- 不動産サイトや求人情報サイトの掲載物件・職種データをローカルデータベースに保存する
핵심 기능
대안 대비 차별점
ブラウザ自動化に依らない軽量なHTMLパースで、BeautifulSoupやSeleniumよりも静的ページ抽出は圧倒的に高速かつメモリ効率的です。
食べた人たち
実際に使ってみた人の記録です — 一言も完走の記録も、確認のうえで公開しています。
このリポジトリの作り方
はじめてですか？ むずかしくありません — 上から順にたどれば、自分の環境で動かして味見できます。
준비물
- Go 1.11以上
すぐ動かしてみるGo
ギット飯がリポジトリの構成を確認して組み立てた実行コマンドです。ターミナルに貼り付ければ、取得から実行までまとめて進みます。
git clone --depth 1 https://github.com/gocolly/colly.git && cd colly && go run .
コードは自分の環境で動きます — はじめて見るリポジトリなら、中身にひととおり目を通してから実行するのがおすすめです。
README가 안내하는 자세한 단계 보기
- Go 1.11以上が入っていることを確認してください。
go version
- プロジェクトディレクトリでCollyを取得します。
go get github.com/gocolly/colly/v2
main.goファイルを作成し、基本的なスクレイパーを書きます。
package main
import (
"fmt"
"github.com/gocolly/colly/v2"
)
func main() {
c := colly.NewCollector()
c.OnHTML("a[href]", func(e *colly.HTMLElement) {
link := e.Attr("href")
fmt.Println(link)
})
c.OnRequest(func(r *colly.Request) {
fmt.Println("Visiting", r.URL)
})
c.Visit("http://go-colly.org/")
}
- プログラムを実行します。
go run main.go
ギット飯トライで味見
入れるのが面倒で少し不安だったなら — 安全スキャンからインストールまで、ターミナル一行で終わります。
ターミナルに貼り付ければ、ギット飯の安全スキャン → 隔離フォルダへ clone → インストール → 実行方法の案内まで自動です。はじめてでも大丈夫 — この一行だけです。
npx gitbap-try gocolly/colly
Node.js さえあれば、インストールなしで動きます · ギット飯トライとは？ →
スター推移 · 7日
使いやすさ · まねしやすいか
- ゆるいライセンス
- テストあり
- サンプル集
- 最近の更新
- AGENTS.md
- llms.txt
- テンプレート
最近の更新あり · 2017 年に作成
「데이터·크롤링」 こういうリポジトリを毎週受け取りませんか？
毎週月曜の朝、選んだ一膳だけ。広告なし · いつでも解除。
自分のリポジトリですか？ README にギット飯バッジを貼る
[](https://www.gitbap.com/r/gocolly/colly)Claude からそのまま使う — ギット飯のつなぎ方
ギット飯を Claude につなぐと、こうしたリポジトリを Claude・Cursor・Codex から直接さがして試せます。
Claude の設定 → コネクタにこのアドレスを貼り付け。
https://www.gitbap.com/api/mcpプラグインを入れると /gitbap-trending·/gitbap-try のスラッシュコマンドで、その場でリポジトリを試せます。Claude Code で下の 2 行を順に実行してください。
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI が README をもとに要約しました · 原文を見る