Orbination AI Desktop Vision & Control

Orbining AI桌面视觉与控制

    

给AI助手眼睛和手。 一个原生的Windows MCP服务器，让人工智能看到屏幕、读取UI元素、点击按钮、键入文本和控制任何应用程序——内置OCR、暗主题支持、窗口遮挡检测和批处理操作排序。

专为 克劳德代码 通过 Leia企业解决方案 为了 Orbinion 项目。

AI编码助手是盲人。它们生成代码，但永远看不到结果。他们无法将设计模型与正在运行的应用程序进行比较。他们无法点击UI进行测试。 此服务器修复了此问题。

它的作用

此MCP服务器弥合了AI和桌面之间的差距。人工智能可以：

• 看 --截图，在任何窗口上运行OCR（自动增强深色主题），检测窗口遮挡
• 阅读 --通过Windows UIAutomation检测每个具有精确位置的UI元素（按钮、输入、文本、选项卡、复选框）
• 互动 --按文本单击元素（UIAutomation+OCR回退），导航菜单，填写表单，键入和粘贴文本
• 导航 --打开应用程序、切换窗口、聚焦选项卡、浏览浏览器URL
• 理解 --扫描整个桌面：窗口可见性百分比、遮挡检测、未覆盖的桌面区域
• 批次 --在一次调用中执行多步骤UI工作流 run_sequence

v2.0中的新增功能

• 窗口遮挡检测 --基于网格的分析显示哪些窗口是真正可见的（可见性%），哪些窗口隐藏在其他窗口后面
• 桌面区域检测 --洪水填充算法，用于查找未覆盖的屏幕区域
• 共享OcrService --具有自动深色主题增强功能的集中式OCR（反转+对比度增强）——单次通过，而不是两次
• 打印窗口API --即使被其他窗口遮挡，也能捕获窗口内容
• click_element OCR回退 --首先是UIAutomation，然后是用于深色主题、web应用程序、iframe的OCR
• run_sequence --在单个MCP调用中批处理多个UI操作（单击、键入、粘贴、热键、等待、聚焦、OCR单击）
• click_menu_item --通过平滑的鼠标移动来导航父菜单>子菜单，以保持子菜单打开
• DPI 感知 --在混合缩放的多显示器设置中，每个显示器的DPI用于正确的坐标
• 嵌入式AI指令 --服务器在MCP连接上发送工具使用指南，教导AI更喜欢OCR而不是截图

建筑

AI Client (Claude Code / Claude Desktop)
         │
         │  MCP / stdio
         ▼
    ┌─────────────────────────────┐
    │       MCP Server            │
    │   (ServerInstructions)      │
    └─────────┬───────────────────┘
              │
    ┌─────────┼──────────────────────────────────────┐
    │         │         │          │          │       │
    ▼         ▼         ▼          ▼          ▼       │
 Mouse    Keyboard   Screen    Vision    Composite   │
 Tools     Tools     Tools     Tools      Tools      │
                       │          │          │       │
              ┌────────┼──────────┼──────────┘       │
              ▼        ▼          ▼                  │
          Win32     UIAuto-    OcrService            │
          Native    mation     (dark theme)          │
              │        │                             │
              ▼        ▼                             │
         DesktopScanner    NativeInput               │
         (occlusion,       (SendInput,               │
          regions)          clipboard)               │
              │               │                      │
              └───────┬───────┘                      │
                      ▼                              │
               Windows OS                            │
               (Desktop, Windows, Apps)              │
    └────────────────────────────────────────────────┘

单身本地人。NET 8可执行文件。没有Python。没有Node.js。没有浏览器驱动程序。直接访问Windows API。

需求

• Windows 10/11
• .NET 8 SDK

构建

cd DesktopControlMcp
dotnet build -c Release

或者发布为单个文件：

dotnet publish -c Release -r win-x64 --self-contained false

使用Claude代码进行设置

将MCP服务器添加到您的Claude Code配置中：

claude mcp add desktop-control -- "C:\path\to\DesktopControlMcp.exe"

或者手动将其添加到MCP配置文件中：

{
  "mcpServers": {
    "desktop-control": {
      "command": "C:\\path\\to\\DesktopControlMcp\\bin\\Release\\net8.0-windows\\DesktopControlMcp.exe",
      "args": []
    }
  }
}

工具（45+）

视觉与元素检测

交互

批处理和复合操作

鼠标和键盘

窗口和应用程序管理

屏幕截图和OCR

公用事业

嵌入式AI指令

服务器发送 工具使用指南 在每个MCP连接上自动通过 ServerInstructions。这教会了AI客户端最佳的工作流程，而不需要任何配置文件：

观察优先级： ocr_window > get_window_details > list_windows > scan_desktop > screenshot_to_file

行动优先级： click_element > click_menu_item > run_sequence > paste_text > mouse_click

关键见解： OCR和UIAutomation返回精确的文本和坐标 --AI确切地知道点击什么。截图需要视觉处理和猜测。OCR优先的工作流程更快、更便宜、更可靠。

窗口遮挡检测

服务器使用 基于网格的遮挡分析 （24px单元格）以确定哪些窗口是真正可见的：

Chrome (chrome) [71] @ -2060,-1461 3456x1403        ← 100% visible
VS Code (Code) [45] @ -1500,-800 1200x900           ← 65% visible
Explorer (explorer) [20] @ -1400,-700 800x600        ← 0% visible [OCCLUDED]

AI知道它可以与哪些窗口交互，哪些窗口是隐藏的。结合 桌面区域检测 （洪水填充以查找未覆盖的屏幕区域），AI对桌面有完整的空间理解。

深色主题OCR增强

许多现代应用程序在标准OCR失败的地方使用深色主题。服务器在OCR之前自动检测暗背景并增强图像：

1. 采样像素亮度 横跨图像
2. 如果平均亮度\子菜单

智能缓存

扫描结果将缓存30秒。单个窗口可以通过以下方式刷新 refresh_window 而不是一个完整的 scan_desktop扫描仪使用UIAutomation的 CacheRequest 在单个跨进程调用中批量获取所有属性。

项目结构

DesktopControlMcp/
├── Program.cs                    # MCP server entry + DPI awareness + ServerInstructions
├── NativeInput.cs                # Low-level mouse/keyboard via SendInput
├── Native/
│   └── Win32.cs                  # P/Invoke: EnumWindows, PrintWindow, window management
├── Models/
│   └── SceneData.cs              # Data models: windows (with occlusion), elements, regions
├── Services/
│   ├── DesktopScanner.cs         # Desktop scanning + occlusion analysis + region detection
│   ├── OcrService.cs             # Shared OCR engine with dark theme auto-enhancement
│   └── UiAutomationHelper.cs     # Element interaction patterns
└── Tools/
    ├── VisionTools.cs            # scan, find, click (with OCR fallback), list windows
    ├── CompositeTools.cs         # run_sequence, click_menu_item, navigate, open app
    ├── MouseTools.cs             # Mouse control
    ├── KeyboardTools.cs          # Keyboard control
    └── ScreenTools.cs            # Screenshots, OCR tools, PrintWindow capture

示例

请参阅 examples/ 用于真实工作流程的文件夹：

• 视觉UI比较 --AI并排打开HTML设计和Flutter应用程序，点击两者，并识别每一个视觉差异
• 自动化UI测试 --AI通过点击任何应用程序来测试登录流程、表单验证和导航——不需要测试脚本
• 多应用程序工作流 --AI在单个工作流中跨浏览器、代码编辑器、数据库工具和桌面应用程序进行编排

快速安装

选项A：下载预构建的二进制文件

1. 下载自 发布
2. 解压拉链
3. 添加到克劳德代码：

claude mcp add desktop-control -- "C:\path\to\DesktopControlMcp.exe"

选项B：从源代码构建

git clone https://github.com/amichail-1/Orbination-AI-Desktop-Vision-Control.git
cd Orbination-AI-Desktop-Vision-Control/DesktopControlMcp
dotnet build -c Release
claude mcp add desktop-control -- "bin\Release\net8.0-windows\DesktopControlMcp.exe"

贡献

欢迎捐款。打开问题或提交PR。

许可证

麻省理工学院