105개의 실제 버그가 심어진 프로덕션 코드베이스에서 AI 코딩 모델들의 버그 수정 능력을 맹검 평가하는 벤치마크
중간맛 분석
JavaScript 기반 벤치마크로, 두 개의 실제 프로덕션 저장소(TypeScript VS Code 확장 28K줄, React/Supabase LMS 60K줄)에서 실행됩니다. 버그는 60개의 실제 회귀(리그레션)와 29개의 재현된 결함으로 구성되며, 테스트 스위트는 의도적으로 통과 상태를 유지합니다. 각 모델은 Codex , Claude Code, Grok 등 자신의 벤더가 제공하는 에서 한 번 실행되며, 결과 diff는 모델 정보를 알 수 없는 독립적인 판사 모델이 검증합니다. 실제 데모와 라이브 리더보드는 bughunt.productcompass.pm에서 확인할 수 있으며, 현재 GPT-6 Astra가 최대 effort로 105개 중 48개 버그를 수정하여 선두입니다.
이런 레포예요
이럴 때 쓰면 좋아요
- AI 코딩 모델의 실제 버그 수정 능력을 객관적으로 비교 평가할 때
- 새로운 코딩 모델이 출시된 후 성능 벤치마크를 수행하려 할 때
- 자동 코드 수정 도구의 신뢰성과 정확도를 프로덕션 환경 기준으로 검증할 때
핵심 기능
대안 대비 차별점
합성 퍼즐이나 단일 파일 과제가 아닌 실제 프로덕션 코드베이스의 회귀 버그를 평가하며, 모델의 자체 보고가 아닌 독립적인 판사 모델의 맹검 diff 검증으로 false-positive를 원천 차단합니다.
먹어본 사람들
실제로 차려 먹어본 손님들의 흔적이에요 — 한마디와 완주 인증 모두 검수 후 공개돼요.
이 레포, 해먹는 법
처음 오셨어요? 어렵지 않아요 — 위에서 아래로 따라 하면 내 컴퓨터에 이 레포를 차려서 바로 맛볼 수 있어요.
바로 시작하기
README에 사용자가 직접 실행할 수 있는 구체적인 설치 및 실행 명령어가 포함되어 있지 않습니다. 벤치마크는 레포지토리 소유자가 모델 API와 CLI를 구성하여 운영하는 평가 플랫폼이며, 외부 사용자는 시드된 저장소와 정답 키가 비공개로 유지되기 때문에 독립적으로 재현할 수 없습니다.
깃밥트라이로 맛보기
받아보기 귀찮고 살짝 불안했다면 — 안전 스캔부터 설치까지 터미널 한 줄로 끝나요.
터미널에 붙여넣으면 깃밥 안전 스캔 → 격리 폴더 clone → 설치 → 실행법 안내까지 자동이에요. 처음이어도 괜찮아요 — 이 한 줄이 전부예요.
npx gitbap-try phuryn/bug-hunt-bench
Node.js만 있으면 설치 없이 실행돼요 · 깃밥트라이가 뭐예요? →
별 추이 · 7일
활용성 · 따라 만들기 좋은가
- 관대한 라이선스
- 테스트 있음
- 예제 디렉토리
- 최근 활동
- AGENTS.md
- llms.txt
- 템플릿
🟢 최근 활동 있음 · 2026년 생성
「코딩 보조·CLI 에이전트」 이런 레포, 매주 받아보실래요?
매주 월요일 아침, 골라 담은 밥상만. 광고 없이 · 언제든 해지.
내 레포인가요? README에 깃밥 배지 달기
[](https://www.gitbap.com/r/phuryn/bug-hunt-bench)🔌 클로드에서 바로 써보기 — 깃밥 연결하는 법
깃밥을 클로드에 연결하면 이런 레포를 클로드·커서·Codex에서 바로 찾고 체험할 수 있어요.
클로드 설정 → 커넥터에 이 주소를 붙여넣기.
https://www.gitbap.com/api/mcp플러그인을 설치하면 /gitbap-trending·/gitbap-try 슬래시 커맨드로 레포를 그 자리에서 체험. Claude Code에서 아래 두 줄을 차례로 실행하세요.
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI가 README 기반으로 요약했습니다 · 원문 보기