AI 에이전트 구축과 평가를 위한 최고의 리소스를 엄선한 큐레이션 가이드 (논문, 블로그, 강연, 도구, 벤치마크)
중간맛 분석
스택: 논문·블로그·팟캐스트 트랜스크립트·도구 모음 | 사용자: AI 제품 개발자, 데이터 과학자, 벤치마크 연구자 | 핵심: 평가는 단순 점수가 아니라 과학적 방법론이며, RL 환경과 일맥상통합니다 | 실전성: PATTERNS.md에 동작하는 코드 예제 (LLM-as-judge, pass@k, 궤적 채점, 게이팅) 제공
이런 레포예요
이럴 때 쓰면 좋아요
- AI 에이전트 제품을 구축할 때 평가 전략을 처음부터 설계하고 싶을 때
- LLM 벤치마크와 평가 도구의 함정(오염, 게이밍, 라벨 오류)을 이해하고 싶을 때
- 검증 가능한 보상으로 RL을 통해 모델을 학습시키되, 평가 기준을 설계해야 할 때
핵심 기능
대안 대비 차별점
대부분의 awesome 리스트와 달리, 모든 항목이 "무엇인가, 왜인가"를 설명하고 URL을 검증하며 죽은 도구를 제거한 검증된 지식 그래프입니다.
먹어본 사람들
실제로 차려 먹어본 손님들의 흔적이에요 — 한마디와 완주 인증 모두 검수 후 공개돼요.
이 레포, 해먹는 법
처음 오셨어요? 어렵지 않아요 — 위에서 아래로 따라 하면 내 컴퓨터에 이 레포를 차려서 바로 맛볼 수 있어요.
깃밥트라이로 맛보기
받아보기 귀찮고 살짝 불안했다면 — 안전 스캔부터 설치까지 터미널 한 줄로 끝나요.
터미널에 붙여넣으면 깃밥 안전 스캔 → 격리 폴더 clone → 설치 → 실행법 안내까지 자동이에요. 처음이어도 괜찮아요 — 이 한 줄이 전부예요.
npx gitbap-try benchflow-ai/awesome-evals
Node.js만 있으면 설치 없이 실행돼요 · 깃밥트라이가 뭐예요? →
별 추이 · 7일
확인 시각
활용성 · 따라 만들기 좋은가
- 관대한 라이선스
- 테스트 있음
- 예제 디렉토리
- 최근 활동
- AGENTS.md
- llms.txt
- 템플릿
🟢 최근 활동 있음 · 2026년 생성
「LLM 도구·RAG」 이런 레포, 매주 받아보실래요?
매주 월요일 아침, 골라 담은 밥상만. 광고 없이 · 언제든 해지.
내 레포인가요? README에 깃밥 배지 달기
[](https://www.gitbap.com/r/benchflow-ai/awesome-evals)🔌 클로드에서 바로 써보기 — 깃밥 연결하는 법
깃밥을 클로드에 연결하면 이런 레포를 클로드·커서·Codex에서 바로 찾고 체험할 수 있어요.
클로드 설정 → 커넥터에 이 주소를 붙여넣기.
https://www.gitbap.com/api/mcp플러그인을 설치하면 /gitbap-trending·/gitbap-try 슬래시 커맨드로 레포를 그 자리에서 체험. Claude Code에서 아래 두 줄을 차례로 실행하세요.
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI가 README 기반으로 요약했습니다 · 원문 보기