MCP LLM Bm V1

KAKAO功能聊天台（OpenRouter）

通过OpenRouter API， 工具使用（函数调用）능력评估并自动生成专业Excel报告的项目。

  

______________________________________________________________________

目录

______________________________________________________________________

项目简介

评估概述

功能聊天台测量LLM在韩语对话上下文中选择和使用工具（函数）的准确性。特别是超越了单纯的呼叫。 保持对话节奏的能力重点评估。

评价语言韩语 |评分方式| LLM-as-Judge（基于GPT-4.1的自动评分）| |总规模|共1306个测试案例

评估类型和定义

______________________________________________________________________

配置数据集

比较数据集（单转与多转）

此基准不仅包括单发呼叫，还包括与实际服务类似的连续对话环境。

数据集对话类型评估数量特征 |:---|:---:|:---:|:---| | 单调用 | 单转身（Single-turn） | 500件|测量立即为给定问题选择适当函数的能力| | 对话 | 多转弯（Multi-turn） | 200件|衡量您在保持之前的对话上下文的同时分阶段使用工具的能力| | 呼叫决策 |混合| 606件|衡量当前是否需要调用函数的能力

多转（Dialog）结构详细信息

在一个场景中，对话将累积并进行评估。

[ 대화 흐름 예시 ]

Turn 1 (Slot 평가)
  User: "새 계정을 만들고 싶어요."
  Assistant: "성함과 이메일을 알려주시겠어요?" (필수 정보 요청)

Turn 2 (Call 평가)
  User: "이름은 홍길동, 이메일은 hong@example.com 입니다."
  Assistant: tool_calls: create_user(name="홍길동", ...) (함수 호출)

Turn 3 (Completion 평가)
  Tool: {"status": "success"}
  Assistant: "계정 생성이 완료되었습니다." (결과 요약 응답)

配置SingleCall难度

______________________________________________________________________

评估过程

系统体系结构流程图

[ 입력 데이터 ] ─────────┐
(Query + Tools)         │
                        ▼
[ 평가 대상 모델 ] ─────── (OpenRouter API 호출)
(Response 생성)         │
                        ▼
[ 1차 검증 ] ─────────── (Exact Match 확인)
(정답과 일치 여부)        │
                        ▼
[ 2차 채점 ] ─────────── (LLM-as-Judge: GPT-4.1)
(Rubric 기반 평가)       │
                        ▼
[ 결과 산출 ] ─────────── (TSV 저장 및 Excel 리포트 생성)

评分标准（Pass/Fail）

______________________________________________________________________

结果分析

最终基准测试结果（完成1306项全部评分）

______________________________________________________________________

特定型号的特性和关键问题

特定型号的详细分析

评估中发现的主要问题

按用途推荐型号

______________________________________________________________________

核心代码文件

项目结构

KAKAO-FunctionChat-Bench/
├── run_evaluation.py          # [1] 전체 평가 자동화 스크립트
├── quick_test.py              # [2] 빠른 검증용 테스트 스크립트
├── generate_excel_report.py   # [3] Excel 리포트 생성기
├── .env                       # API 키 설정 (git 제외)
│
└── FunctionChat-Bench/
    ├── evaluate.py            # [4] 벤치마크 엔진 (CLI 엔트리)
    ├── config/
    │   └── openai.cfg         # [5] Judge 모델 설정
    └── src/
        ├── api_executor.py        # [6] API 호출 및 재시도 로직
        └── evaluation_handler.py  # [7] LLM-as-Judge 채점 로직

核心文件详细信息

编号文件名角色执行方法 |:---:|:---|:---|:---| | 1 | run_evaluation.py |自动完成5个模型的全面评估+报告生成| python run_evaluation.py | | 2 | quick_test.py |按类别取样后快速验证| python quick_test.py --sample-size 2 | | 3 | generate_excel_report.py |将TSV结果转换为Excel报告| python generate_excel_report.py | | 4 | evaluate.py |评估单个数据集（Dialog/SingleCall/Common）|请参阅下面的详细命令 | 5 | openai.cfg | Judge模型和API端点设置|直接编辑| | 6 | api_executor.py | OpenRouter API集成+指数回退重试|内部模块（直接运行X）| | 7 | evaluation_handler.py GPT-4.1 Judge调用+实时结果存储内部模块（直接运行X）

evaluate.py单独执行命令

# Dialog (멀티턴) 평가
python evaluate.py dialog \
  --input_path data/FunctionChat-Dialog.jsonl \
  --system_prompt_path data/system_prompt.txt \
  --model "qwen/qwen3-32b" \
  --api_key $OPENROUTER_API_KEY \
  --base_url "https://openrouter.ai/api/v1"

# SingleCall (싱글턴) 평가
python evaluate.py singlecall \
  --input_path data/FunctionChat-Singlecall.jsonl \
  --system_prompt_path data/system_prompt.txt \
  --tools_type all \
  --model "qwen/qwen3-32b" \
  --api_key $OPENROUTER_API_KEY \
  --base_url "https://openrouter.ai/api/v1"

# CallDecision (호출 판단) 평가
python evaluate.py common \
  --input_path data/FunctionChat-CallDecision.jsonl \
  --model "qwen/qwen3-32b" \
  --api_key $OPENROUTER_API_KEY \
  --base_url "https://openrouter.ai/api/v1"

______________________________________________________________________

使用指南

分步执行过程

______________________________________________________________________

已解决的问题和常见问题解答

故障诊断摘要

现象原因解决方案 |:---|:---|:---| | 429速率限制 | Judge API调用速度限制| --num-threads 1 设置并应用指数回切| | 402学分不足 | API余额不足|立即处理失败，然后继续下一个案例（避免Skip） | 解析JSON错误 |模型输出格式不匹配|判断模型能力不足以处理Fail | | API密钥暴露风险 |保存配置文件中的评语| ${ENV_VAR} 支持通过格式注入环境变量|

常见问题（FAQ）

______________________________________________________________________

参考资料和许可证

Based on FunctionChat-Bench by Kakao