韓国語の会話におけるツール利用機能を評価するベンチマークデータセット
中辛 の解説
Python/OpenAI で構成されるベンチマークセットです。SingleCall（500件の単一対話）と Dialog（45件のマルチターン会話）の2つ部分に分かれています。ツール候補を1個から8個提示する難易度バリエーションも含みます。即座に評価スクリプトで実行でき、OpenAI・Azure・ローカル・Gemini・Claudeをサポートしています。
이런 레포예요
이럴 때 쓰면 좋아요
- 企業のカスタムLLM開発時に、ツール呼び出し精度を定量評価したい場合
- 異なるLLMモデル間で関数呼び出し性能を比較検証する必要がある場合
- 会話型AIアシスタントの実運用前に、複雑なマルチターン対話処理の信頼性を測定する場合
핵심 기능
대안 대비 차별점
単発の関数呼び出しではなく、ユーザーがパラメータを省略したり関連タスクを追加したりする現実的なマルチターン会話を評価対象にしており、実践的なツール利用能力を正確に測定できます。
食べた人たち
実際に使ってみた人の記録です — 一言も完走の記録も、確認のうえで公開しています。
このリポジトリの作り方
はじめてですか？ むずかしくありません — 上から順にたどれば、自分の環境で動かして味見できます。
준비물
- Python 3.7以上
- OpenAI APIキーまたはローカルLLMエンドポイント（Azure・Gemini・Claude対応）
すぐ動かしてみるPython (uv)
ギット飯がリポジトリの構成を確認して組み立てた実行コマンドです。ターミナルに貼り付ければ、取得から実行までまとめて進みます。
git clone --depth 1 https://github.com/kakao/FunctionChat-Bench.git && cd FunctionChat-Bench && uv venv && uv pip install -r requirements.txt
uv가 없다면: brew install uv · 실행 명령은 README를 확인하세요.
コードは自分の環境で動きます — はじめて見るリポジトリなら、中身にひととおり目を通してから実行するのがおすすめです。
README가 안내하는 자세한 단계 보기
- リポジトリをクローンしてディレクトリに移動します。
cd FunctionChat-Bench
- 依存パッケージをインストールします。
pip3 install -r requirements.txt
-
OpenAI設定ファイルを
config/openai.cfgに作成します。API認証情報を記入してください。 -
Dialog評価を実行します（OpenAI APIの場合）。
python3 evaluate.py dialog \
--input_path data/FunctionChat-Dialog.jsonl \
--system_prompt_path data/system_prompt.txt \
--temperature 0.1 \
--model gpt-3.5-turbo-0125 \
--api_key {api_key}
- SingleCall評価を実行します。
python3 evaluate.py singlecall \
--input_path data/FunctionChat-Singlecall.jsonl \
--tools_type all \
--system_prompt_path data/system_prompt.txt \
--temperature 0.1 \
--model gpt-3.5-turbo-0125 \
--api_key {api_key}
- CallDecision評価を実行します。
python3 evaluate.py common \
--input_path data/FunctionChat-CallDecision.jsonl \
--temperature 0.1 \
--model gpt-3.5-turbo-0125 \
--api_key {api_key}
ギット飯トライで味見
入れるのが面倒で少し不安だったなら — 安全スキャンからインストールまで、ターミナル一行で終わります。
ターミナルに貼り付ければ、ギット飯の安全スキャン → 隔離フォルダへ clone → インストール → 実行方法の案内まで自動です。はじめてでも大丈夫 — この一行だけです。
npx gitbap-try kakao/FunctionChat-Bench
Node.js さえあれば、インストールなしで動きます · ギット飯トライとは？ →
スター推移 · 7日
使いやすさ · まねしやすいか
- ゆるいライセンス
- テストあり
- サンプル集
- 最近の更新
- AGENTS.md
- llms.txt
- テンプレート
更新の情報なし · 2024 年に作成
「LLM 도구·RAG」 こういうリポジトリを毎週受け取りませんか？
毎週月曜の朝、選んだ一膳だけ。広告なし · いつでも解除。
自分のリポジトリですか？ README にギット飯バッジを貼る
[](https://www.gitbap.com/r/kakao/FunctionChat-Bench)Claude からそのまま使う — ギット飯のつなぎ方
ギット飯を Claude につなぐと、こうしたリポジトリを Claude・Cursor・Codex から直接さがして試せます。
Claude の設定 → コネクタにこのアドレスを貼り付け。
https://www.gitbap.com/api/mcpプラグインを入れると /gitbap-trending·/gitbap-try のスラッシュコマンドで、その場でリポジトリを試せます。Claude Code で下の 2 行を順に実行してください。
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI が README をもとに要約しました · 原文を見る