MCP Bench (Accenture)

MCP-Bench：通过MCP服务器使用大型语言模型（LLM）代理进行复杂现实世界任务的基准测试工具

   ](https://www.python.org/downloads/) 

MCP-Bench

概述

MCP-Bench是一个全面的评估框架，旨在通过模型上下文协议（MCP）来评估大型语言模型（LLMs）在工具使用场景中的能力。该基准提供了一个端到端的流程，用于评估不同大型语言模型在发现、选择和利用工具解决实际任务方面的有效性。

新闻

• \[2025-09\] MCP-Bench 被接受为2025年NeurIPS大会上关于智能体扩展环境的研讨会论文。

排行榜

*总评分为所有评估维度上的平均表现，包括基于规则的模式理解、由大型语言模型（以o4-mini作为评判模型）评判的任务完成度、工具使用以及规划有效性。评分是针对单服务器和多服务器设置的平均值。*

快速入门

安装

1. 克隆仓库

git clone https://github.com/accenture/mcp-bench.git
cd mcp-bench

1. 安装依赖项

conda create -n mcpbench python=3.10
conda activate mcpbench
cd mcp_servers
# Install MCP server dependencies
bash ./install.sh
cd ..

1. 设置环境变量

# Create .env file with API keys
# Default setup uses both OpenRouter and Azure OpenAI
# For Azure OpenAI, you also need to set your API version in file benchmark_config.yaml (line205)
# For OpenRouter-only setup, see "Optional: Using only OpenRouter API" section below
cat > .env  .env << EOF
OPENROUTER_API_KEY=your_openrouterkey_here
EOF

1. 修改代码以通过OpenRouter访问Azure模型：

编辑 llm/factory.py 并且注释掉Azure部分（第69-101行），然后通过OpenRouter添加Azure模型：

# Comment out or remove the Azure section (lines 69-109)
# if os.getenv("AZURE_OPENAI_API_KEY") and os.getenv("AZURE_OPENAI_ENDPOINT"):
#     configs["o4-mini"] = ModelConfig(...)
#     ...

# Add Azure models through OpenRouter (in the OpenRouter section around line 106)
if os.getenv("OPENROUTER_API_KEY"):
    # Add OpenAI models via OpenRouter
    configs["gpt-4o"] = ModelConfig(
        name="gpt-4o",
        provider_type="openrouter",
        api_key=os.getenv("OPENROUTER_API_KEY"),
        base_url="https://openrouter.ai/api/v1",
        model_name="openai/gpt-4o"
    )
    
    configs["gpt-4o-mini"] = ModelConfig(
        name="gpt-4o-mini",
        provider_type="openrouter",
        api_key=os.getenv("OPENROUTER_API_KEY"),
        base_url="https://openrouter.ai/api/v1",
        model_name="openai/gpt-4o-mini"
    )
    
    configs["o3"] = ModelConfig(
        name="o3",
        provider_type="openrouter",
        api_key=os.getenv("OPENROUTER_API_KEY"),
        base_url="https://openrouter.ai/api/v1",
        model_name="openai/o3"
    )
    
    configs["o4-mini"] = ModelConfig(
        name="o4-mini",
        provider_type="openrouter",
        api_key=os.getenv("OPENROUTER_API_KEY"),
        base_url="https://openrouter.ai/api/v1",
        model_name="openai/o4-mini"
    )

    configs["gpt-5"] = ModelConfig(
        name="gpt-5",
        provider_type="openrouter",
        api_key=os.getenv("OPENROUTER_API_KEY"),
        base_url="https://openrouter.ai/api/v1",
        model_name="openai/gpt-5"
    )
    
    
    # Keep existing OpenRouter models...

这样所有模型都将通过OpenRouter的统一API进行访问。

MCP 服务器

MCP-Bench 包含 28 种不同的 MCP 服务器：

• BioMCP（注：这是一个专有名词或特定术语，直接翻译为中文可能无法准确传达其含义，因此通常保留原样。如果“BioMCP”有特定的中文名称或解释，应使用该名称或解释。在没有特定中文名称的情况下，可简单理解为“生物MCP（某种生物技术或产品）”，但具体含义需根据上下文确定。） - 生物医学研究数据、临床试验和健康信息
• 占卜书签（或通过书籍占卜） - 《易经》占卜、六十四卦与神秘指引
• 征文启事/论文征集 - 学术会议投稿及征稿通知
• 汽车价格评估器 - 车辆估值与汽车市场分析
• 上下文7 - 项目背景管理与文档编制服务
• DEX辣椒粉（或DEX红椒粉） - 加密货币DeFi（去中心化金融）分析及去中心化交易所数据
• FruityVice（可译为“水果之敌”或根据具体语境意译为“果味反派”等，但通常直接保留原名以体现其特色） - 全面的水果营养信息和饮食数据
• 游戏趋势 - 游戏行业统计数据与趋势分析
• 谷歌地图 - 位置服务、地理编码和地图功能
• 巨大图标 - 图标搜索、管理和设计资源
• Hugging Face - 机器学习模型、数据集和人工智能能力
• 数学MCP（注：MCP在此处可能是一个特定上下文中的缩写或术语，没有具体上下文难以给出确切翻译，但一般可理解为与数学相关的某个概念或课程） - 数学计算和计算运算
• 医疗计算器 - 临床计算工具和医学公式
• 大都会艺术博物馆 - 艺术收藏数据库和博物馆信息
• 电影推荐器 - 电影推荐和电影元数据
• NASA数据 - 空间任务数据和天文信息
• 国家公园 - 美国国家公园信息及游客服务
• NixOS（注：NixOS是一个基于Nix包管理器的Linux发行版，直接翻译为“Nix操作系统”或保留原名“NixOS”均可，具体根据语境和读者熟悉度来选择） - 软件包管理和系统配置工具
• OKX交易所 - 加密货币交易数据和市场信息
• OpenAPI Explorer（开放API浏览器/探索器） API规范探索与测试工具
• 开放式网络情报（OSINT） - 开源情报收集与分析
• 论文搜索 - 跨多个研究数据库进行学术论文搜索
• Reddit（一个社交新闻聚合网站） - 社交媒体内容和社区讨论
• 科学计算 - 高级数学计算和数据分析
• Time MCP（注：MCP在此处可能代表某个特定的缩写或术语，根据上下文可能有所不同，但直接翻译为“时间MCP”可能不够准确，具体含义需结合上下文确定。若MCP无特定含义，则保持原样翻译。） - 日期、时间工具以及时区转换
• 单位转换器 - 不同单位系统之间的测量转换
• 天气数据 - 天气预报和气象信息
• 维基百科 - 百科全书内容的搜索与检索

项目结构

mcp-bench/
├── agent/                     # Task execution agents
│   ├── __init__.py
│   ├── executor.py           # Multi-round task executor with retry logic
│   └── execution_context.py  # Execution context management
├── benchmark/                 # Evaluation framework
│   ├── __init__.py
│   ├── evaluator.py          # LLM-as-judge evaluation metrics
│   ├── runner.py             # Benchmark orchestrator
│   ├── results_aggregator.py # Results aggregation and statistics
│   └── results_formatter.py  # Results formatting and display
├── config/                    # Configuration management
│   ├── __init__.py
│   ├── benchmark_config.yaml # Benchmark configuration
│   └── config_loader.py      # Configuration loader
├── llm/                       # LLM provider abstractions
│   ├── __init__.py
│   ├── factory.py            # Model factory for multiple providers
│   └── provider.py           # Unified provider interface
├── mcp_modules/              # MCP server management
│   ├── __init__.py
│   ├── connector.py          # Server connection handling
│   ├── server_manager.py     # Multi-server orchestration
│   ├── server_manager_persistent.py # Persistent connection manager
│   └── tool_cache.py         # Tool call caching mechanism
├── synthesis/                # Task generation
│   ├── __init__.py
│   ├── task_synthesis.py     # Task generation with fuzzy conversion
│   ├── generate_benchmark_tasks.py # Batch task generation script
│   ├── benchmark_generator.py # Unified benchmark task generator
│   ├── README.md             # Task synthesis documentation
│   └── split_combinations/   # Server combination splits
│       ├── mcp_2server_combinations.json
│       └── mcp_3server_combinations.json
├── utils/                    # Utilities
│   ├── __init__.py
│   ├── collect_mcp_info.py  # Server discovery and tool collection
│   ├── local_server_config.py # Local server configuration
│   └── error_handler.py     # Error handling utilities
├── tasks/                    # Benchmark task files
│   ├── mcpbench_tasks_single_runner_format.json
│   ├── mcpbench_tasks_multi_2server_runner_format.json
│   └── mcpbench_tasks_multi_3server_runner_format.json
├── mcp_servers/             # MCP server implementations (28 servers)
│   ├── api_key              # API keys configuration file
│   ├── commands.json        # Server command configurations
│   ├── install.sh          # Installation script for all servers
│   ├── requirements.txt    # Python dependencies
│   └── [28 server directories]
├── cache/                   # Tool call cache directory (auto-created)
├── run_benchmark.py         # Main benchmark runner script
├── README.md               # Project documentation
├── .gitignore              # Git ignore configuration
└── .gitmodules             # Git submodules configuration

引用

如果您在研究中使用了MCP-Bench，请引用：

@article{wang2025mcpbench,
  title={MCP-Bench: Benchmarking Tool-Using LLM Agents with Complex Real-World Tasks via MCP Servers},
  author={Wang, Zhenting and Chang, Qi and Patel, Hemani and Biju, Shashank and Wu, Cheng-En and Liu, Quan and Ding, Aolin and Rezazadeh, Alireza and Shah, Ankit and Bao, Yujia and Siow, Eugene},
  journal={arXiv preprint arXiv:2508.20453},
  year={2025}
}

明星历史


致谢

• 建立在……之上 模型上下文协议 由Anthropic开发
• 感谢所有使用过的开源MCP服务器实现