実運用コードベースの105個の実バグを対象に、最新のAIコーディングモデルがどれだけバグ修正できるかを盲審方式で評価するベンチマーク
中辛 の解説
JavaScriptベースのベンチマークで、RESTful スキャン系とは異なり、28K行のVS Code拡張機能(45個のバグ)と60K行のReact・Supabase LMS(60個のバグ)という2つの独立した本番コードベースを対象にしています。バグのうち60個は実際に本番環境で見つかった後修正されたリグレッション、残り45個も同じスタイルで作成されています。デモはbughunt.productcompass.pmで公開中で、現在の最高スコアはGPT-6 Astraがmaxレベルで105個中48個を修正しており、トレーニングなしで即座に実行可能です。
こんなリポジトリです
こんなときに便利です
- 新しいコーディングモデルがリリースされたときの実力評価
- 複数のAIコーディングエージェント間の客観的性能比較
- 実運用コードベースでのバグ修正能力の検証
主な機能
ほかとの違い
単なるコード生成ベンチマークではなく、実運用コードベースの既知リグレッションを再現し、モデルの主張ではなく実際のdiffを盲審採点する点で、業界標準のパズルセットより現実的な評価が可能です。
食べた人たち
実際に使ってみた人の記録です — 一言も完走の記録も、確認のうえで公開しています。
このリポジトリの作り方
はじめてですか？ むずかしくありません — 上から順にたどれば、自分の環境で動かして味見できます。
ギット飯トライで味見
入れるのが面倒で少し不安だったなら — 安全スキャンからインストールまで、ターミナル一行で終わります。
ターミナルに貼り付ければ、ギット飯の安全スキャン → 隔離フォルダへ clone → インストール → 実行方法の案内まで自動です。はじめてでも大丈夫 — この一行だけです。
npx gitbap-try phuryn/bug-hunt-bench
Node.js さえあれば、インストールなしで動きます · ギット飯トライとは？ →
スター推移 · 7日
使いやすさ · まねしやすいか
- ゆるいライセンス
- テストあり
- サンプル集
- 最近の更新
- AGENTS.md
- llms.txt
- テンプレート
最近の更新あり · 2026 年に作成
「コーディング支援・CLI エージェント」 こういうリポジトリを毎週受け取りませんか？
毎週月曜の朝、選んだ一膳だけ。広告なし · いつでも解除。
自分のリポジトリですか？ README にギット飯バッジを貼る
[](https://www.gitbap.com/r/phuryn/bug-hunt-bench)Claude からそのまま使う — ギット飯のつなぎ方
ギット飯を Claude につなぐと、こうしたリポジトリを Claude・Cursor・Codex から直接さがして試せます。
Claude の設定 → コネクタにこのアドレスを貼り付け。
https://www.gitbap.com/api/mcpプラグインを入れると /gitbap-trending·/gitbap-try のスラッシュコマンドで、その場でリポジトリを試せます。Claude Code で下の 2 行を順に実行してください。
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI が README をもとに要約しました · 原文を見る