openclaw-omni-expert（OpenClaw omni expert 搜索）

OpenClaw全能专家系统 v7.0

核心能力

触发条件

• 用户要求"安装 OpenClaw"、"配置 OpenClaw"
• 用户要求"诊断 OpenClaw 问题"
• 用户要求"创建 Agent"或"编排 Workflow"
• 用户要求"远程控制电脑"、"用鼠标操作"、"帮我点一下"
• 用户提到具体的远程软件名称（UU、RustDesk 等）

Phase 0: 多远程软件控制

支持的软件对比

┌──────────────────────────────────────────────────────────────────┐
│                     远程软件自动化能力对比                         │
├────────────┬────────┬────────┬────────┬────────┬────────┬───────┤
│ 软件       │ 鼠标   │ 键盘   │ 截图   │ 文件   │ 命令   │ 视觉  │
├────────────┼────────┼────────┼────────┼────────┼────────┼───────┤
│ UU远程     │   ✅   │   ✅   │   ✅   │   ✅   │   ✅   │   ✅  │
│ RustDesk   │   ⚠️   │   ⚠️   │   ✅   │   ✅   │   ✅   │   ✅  │
│ ToDesk     │   ⚠️   │   ⚠️   │   ✅   │   ✅   │   ❌   │   ✅  │
│ 向日葵     │   ⚠️   │   ⚠️   │   ✅   │   ✅   │   ❌   │   ✅  │
│ RDP        │   ❌   │   ❌   │   ✅   │   ✅   │   ✅   │   ✅  │
│ WinRM      │   ❌   │   ❌   │   ❌   │   ✅   │   ✅   │   ❌   │
└────────────┴────────┴────────┴────────┴────────┴────────┴───────┘
✅ 完全支持  ⚠️ 需配合PyAutoGUI  ❌ 不支持

检测已安装软件

# 检测可用的远程软件
python3 scripts/universal_remote.py --detect

输出示例:

已安装:
  - uu
    鼠标控制: ✓
    键盘控制: ✓
    截图: ✓
    文件传输: ✓
    命令执行: ✓
    视觉识别: ✓
  - rustdesk
    鼠标控制: ✗
    键盘控制: ✗
    ...

通用连接方式

# UU 远程
python3 scripts/universal_remote.py --software uu --session-id 123456789

# RustDesk
python3 scripts/universal_remote.py --software rustdesk --remote-id 12345-abc-67890

# ToDesk
python3 scripts/universal_remote.py --software todesk --session-id xxxxxxxx

# 向日葵
python3 scripts/universal_remote.py --software sunlogin --host 192.168.1.100

# RDP
python3 scripts/universal_remote.py --software rdp --host 192.168.1.100

# WinRM
python3 scripts/universal_remote.py --software winrm --host 192.168.1.100 --username admin

Phase 1: UU远程（完整支持）

连接方式

# Session ID 连接
python3 scripts/remote_desktop_control.py --session-id 123456789 --interactive

# 主机连接
python3 scripts/remote_desktop_control.py --host 192.168.1.100 --port 18792 --interactive

鼠标键盘控制

# 移动鼠标
python3 scripts/remote_automation.py --action move --x 500 --y 300

# 点击/双击/右键
python3 scripts/remote_automation.py --action click --x 500 --y 300
python3 scripts/remote_automation.py --action double-click --x 500 --y 300
python3 scripts/remote_automation.py --action right-click --x 500 --y 300

# 输入文本
python3 scripts/remote_automation.py --action type --text "Hello"

# 按键/组合键
python3 scripts/remote_automation.py --action press --key enter
python3 scripts/remote_automation.py --action hotkey --keys ctrl c

Phase 2: RustDesk（开源免费）

安装与配置

# 安装 RustDesk
# Windows: 下载 https://github.com/rustdesk/rustdesk/releases
# Linux: cargo install rustdesk

# 获取本机 ID
python3 scripts/rustdesk_control.py --get-id

# 设置密码
python3 scripts/rustdesk_control.py --set-password MYPASSWORD

连接方式

# 通过 ID 连接
python3 scripts/rustdesk_control.py --id 12345-abcdef-67890 --password MYPASSWORD

# 通过主机连接
python3 scripts/rustdesk_control.py --host 192.168.1.100 --port 21117

# 自建中继服务器
python3 scripts/rustdesk_control.py --id <remote_id> --relay your-relay.com

文件传输

# 上传文件
python3 scripts/rustdesk_control.py --host 192.168.1.100 --upload ./local.txt /tmp/remote.txt

# 下载文件
python3 scripts/rustdesk_control.py --host 192.168.1.100 --download /tmp/remote.txt ./local.txt

Phase 3: 其他远程软件

ToDesk

# CLI 连接
todesk -c <device_id> -p <password>

# 文件传输
todesk -transfer <local> <remote>

向日葵

# CLI 连接
sunlogin --control <host> --pwd <password>

# 文件传输
sunlogin --file <local> <remote>

RDP (Windows 原生)

# 连接
mstsc /v:192.168.1.100

# 带用户名
mstsc /v:192.168.1.100 /u:admin

WinRM (无 GUI)

# 执行远程命令
winrm quickconfig
winrs -r:192.168.1.100 -u:admin -p:password "ipconfig"

# PowerShell 远程
Enter-PSSession -ComputerName 192.168.1.100 -Credential admin

Phase 4: 视觉识别与自动化

屏幕分析与目标定位

# 分析屏幕内容
python3 scripts/vision_recognition.py --image screenshot.png --task "找到下载按钮"

# 描述界面
python3 scripts/vision_recognition.py --image screenshot.png --describe

# 交互模式
python3 scripts/vision_recognition.py --image screenshot.png --interactive

自动化工作流

# 执行工作流
python3 scripts/automation_workflow.py \
    --session-id 123456789 \
    --workflow workflow.json

# 交互模式
python3 scripts/automation_workflow.py \
    --session-id 123456789 \
    --interactive

工作流 JSON 示例:

{
  "name": "软件安装",
  "steps": [
    {"action": "capture"},
    {"action": "find", "target": "安装", "execute": "click"},
    {"action": "wait", "timeout": 5},
    {"action": "find", "target": "下一步", "execute": "click"},
    {"action": "find", "target": "我接受", "execute": "click"},
    {"action": "find", "target": "安装", "execute": "click"},
    {"action": "wait", "timeout": 60},
    {"action": "find", "target": "完成", "execute": "click"}
  ]
}

Phase 5: 全自动驾驶

SSH 一键安装

python3 scripts/autopilot.py \
    --host 192.168.1.100 \
    --username admin \
    --key ~/.ssh/id_rsa \
    --mode install

诊断修复

python3 scripts/expert_diagnose.py --interactive
python3 scripts/troubleshooting.py --diagnose "问题描述"

资源索引

远程控制脚本

其他脚本

应用场景

注意事项

• 多软件共存：可同时安装多种远程软件，根据场景切换
• API Key：GPT-4V 视觉识别需要 OpenAI API Key
• 权限：自动化操作可能需要管理员权限
• 安全：敏感操作前建议备份重要数据

作者信息