UI资源管理器MCP服务器
MCP服务器，提供用于探索和与屏幕上的UI元素交互的工具。
特性
- 探索UI层次结构：扫描并分析屏幕上的所有UI元素
- 带有高亮显示的屏幕截图UI：可视化具有边界和层次结构的UI元素
- 控制鼠标点击：基于坐标点击UI元素
- 探索特定区域：关注屏幕的左上角、中心等部分。
- 🎬 宏记录：独立或通过MCP录制和播放UI工作流
🚀 快速入门：独立宏录制
新 现在，您可以在不运行MCP服务器的情况下录制UI工作流：
# Record a workflow
python record_macro.py --name "Login Workflow"
# Play it back
python play_macro.py --file "macros/Login Workflow.json"Windows用户可以使用批处理文件：
record_macro.bat "My Workflow"
play_macro.bat "macros/My Workflow.json"👉 看 快速启动.md 2分钟教程 👉 看 MACRO_TOOLS.md 获取完整的文档
什么会被记录下来？
- ✅ 鼠标点击精确坐标
- ✅ 带智能文本缓冲的键盘输入
- ✅ 用于可靠播放的UI上下文
- ✅ 用于验证的屏幕截图
- ✅ 自然回放的定时信息
录音控制
- F9：开始/停止录制
- F10：暂停/恢复
- 退出：紧急停止
安装选项
选项1：使用pip（推荐）
在全局或虚拟环境中安装软件包：
pip install mcp-ui-explorer选项2：使用git clone
- 克隆存储库：
git clone https://github.com/modularflow/mcp-ui-explorer
cd mcp-ui-explorer- 安装软件包：
- 在开发模式下使用pip：
pip install -e .- 或使用紫外线（建议用于开发）：
uv venv
source .venv/bin/activate # On Windows: .venv\Scripts\activate
uv pip install -e .MCP服务器配置
安装包后，您需要配置MCP客户端以使用UI资源管理器服务器。
对于光标中的Roo
将此JSON添加到您的MCP服务器配置中： C:\Users\\AppData\Roaming\Cursor\User\globalStorage\rooveterinaryinc.roo-cline\settings\mcp_settings.json
{
"mcpServers": {
"ui-explorer": {
"command": "uvx",
"args": [
"mcp-ui-explorer"
]
}
}
}适用于Claude桌面应用程序
将服务器配置添加到： C:\Users\\AppData\Roaming\Claude\claude_desktop_config.json
{
"mcpServers": {
"ui-explorer": {
"command": "uvx",
"args": [
"mcp-ui-explorer"
]
}
}
}直接与uvx一起使用
如果您已经安装了该软件包（全局安装或在虚拟环境中安装），则可以直接使用 uvx 无需额外配置即可运行服务器：
uvx mcp-ui-explorerMCP工具
UI资源管理器为UI自动化和探索提供了几个MCP工具。使用MCP服务器界面时，这些工具可用。
使用指南
1.探索UI结构
使用 explore_ui 工具来获取UI元素的完整层次结构：
参数：
region：要分析的屏幕区域（“屏幕”、“顶部”、“底部”、“左侧”、“右侧”、“中心”等）depth：要分析的最大层次深度（默认值：5）min_size：要包含的最小元素大小（默认值：5px）focus_window：仅分析前景窗口（默认值：False）visible_only：仅包含屏幕上可见的元素（默认值：True）control_type：要搜索的控件类型（默认值：“按钮”）text：按文本内容过滤元素（可选）
2.拍摄突出显示UI元素的截图
使用 screenshot_ui 可视化UI元素的工具：
参数：
region：要分析的屏幕区域highlight_levels：为层次级别使用不同的颜色（默认值：True）output_prefix：输出文件的前缀（默认值：“ui_hierrchi”）
3.点击屏幕坐标
使用 click_ui_element 在特定坐标处单击的工具：
参数：
x：要单击的X坐标（必填）y：要单击的Y坐标（必填）wait_time：单击前等待的秒数（默认值：2.0）
4.键盘输入和快捷键
该工具还提供键盘输入和快捷键选项。有关详细信息，请参阅MCP界面中的UI资源管理器指南。
工作流示例
- 首先，探索UI以了解屏幕上的内容：
explore_ui(region="screen", control_type="Button")- 截取屏幕截图以可视化元素：
screenshot_ui(region="screen")- 记下要单击的元素的坐标，然后单击这些坐标：
click_ui_element(x=500, y=300)- 根据需要键入文本或使用键盘快捷键：
keyboard_input(text="Hello world", press_enter=true)需求
- Windows操作系统
- Python 3.10+
- MCP 1.6.0+
- PyAutoGUI
- PyWinAuto
- 枕头
- Pydantic 2.0+