GameDevBench MCP

GameDevBench

用于评估LLM代理在游戏开发任务中的基准套件。

纸张： GameDevBench：游戏开发的综合基准

概述

GameDevBench包含132个游戏开发任务，用于评估LLM代理在Godot游戏引擎中完成游戏开发问题的能力。

安装

先决条件

1. 戈多4.x -从下载并安装 godotengine.org

- 确保 godot 在您的PATH或集合中可用 GODOT_EXEC_PATH 环境变量

1. Python 3.10+ -所有代理都需要

- Python 3.12+ -OpenHands代理需要

安装代理

安装要使用的代理：

• 克劳德代码 - 克劳德代码
• 法典 - 法典
• 双子星命令行工具 - 双子星命令行工具
• 开诚布公 - 开诚布公

设置任务

在运行基准测试之前，解压缩tasks文件夹：

unzip tasks.zip

注： 这些任务以zip文件的形式分发，以防止意外的数据泄漏。

配置

环境变量

您可以使用内置计划 claude-code, codex，以及 gemini-cli，或直接提供API密钥。对于OpenHands，您必须提供自己的API密钥。看 .env.example 查看可选环境变量的完整列表。

用法

运行基准

uv run python gamedevbench/src/benchmark_runner.py \
  --agent AGENT \
  --model MODEL \
  run --task-list tasks.yaml

可用代理

• claude-code -Anthropic的Claude Code命令行界面
• codex -OpenAI Codex
• gemini-cli -谷歌Gemini CLI
• openhands -OpenHands（需要Python 3.12+）

命令行选项

• --agent AGENT -代理使用（必填）
• --model MODEL -型号名称（例如。， claude-sonnet-4.5-20250929)
• --enable-mcp -为受支持的代理启用MCP（模型上下文协议）服务器

- 为代理提供屏幕截图功能 - 注： MCP服务器需要macOS（请参阅下面的限制）

• --use-runtime-video -启用运行时视频模式

- 将Godot运行时指令附加到提示中 - 帮助代理了解如何运行和测试他们的更改

• --skip-display -跳过需要显示的任务
• run --task-list FILE -从YAML文件运行任务（例如。， tasks.yaml)

平台限制

仅限macOS的功能：

• MCP服务器截图功能(--enable-mcp)目前仅适用于macOS

- 使用AppleScript进行显示捕获 - 需要设置 GODOT_SCREENSHOT_DISPLAY 用于校正显示编号的环境变量

结果

基准结果保存到 results/ 包含以下信息的目录：

• 任务成功/失败状态
• 代币使用和成本
• 执行时间
• 验证结果

引用

@misc{chi2026gamedevbenchevaluatingagenticcapabilities,
      title={GameDevBench: Evaluating Agentic Capabilities Through Game Development},
      author={Wayne Chi and Yixiong Fang and Arnav Yayavaram and Siddharth Yayavaram and Seth Karten and Qiuhong Anna Wei and Runkun Chen and Alexander Wang and Valerie Chen and Ameet Talwalkar and Chris Donahue},
      year={2026},
      eprint={2602.11103},
      archivePrefix={arXiv},
      primaryClass={cs.AI},
      url={https://arxiv.org/abs/2602.11103},
}

许可证

gamedevbench bp