Agentic Vision

Quickstart · Problems Solved · Why · Benchmarks · How It Works · Install · API · Papers

______________________________________________________________________

AI代理无法跨会话查看。

你的代理会截图，分析它，然后忘记。下一节课——白板。它无法比较页面现在和昨天的样子。它不记得三次对话前错误对话框说了什么。它无法搜索自己的视觉历史。

基于文本的内存存在。视觉记忆没有——直到现在。

机构愿景 为AI代理提供持久的视觉记忆。捕获图像，用CLIP ViT-B/32嵌入，以紧凑的二进制格式存储，并按相似性、时间或描述查询。每个捕获都是任何LLM都可以访问的一流MCP资源。

已解决的问题（请先阅读）

• 问题： 代理人不记得他们上次看到了什么。\

解决了的： .avis 在会话和模型更改之间保持持久的视觉历史。

• 问题： 视觉回归被发现较晚或遗漏。\

解决了的： 内置的比较和差异工作流表面变化很快。

• 问题： 截图堆积如山，没有可搜索的结构。\

解决了的： 每个捕获都是嵌入的、有时间戳的，并且可以通过相似性和元数据进行查询。

• 问题： 图像上下文被困在一个工具中。\

解决了的： MCP工具/资源将视觉内存暴露给任何兼容的客户端。

• 问题： 代理看到的内容与它记住的内容是脱节的。\

解决了的： 记忆链接将视觉捕捉直接连接到认知图节点。

cargo install agentic-vision-cli agentic-vision-mcp

CLI+MCP二进制文件。21个MCP工具。持久 .avis 文件夹。适用于Claude Desktop、VS Code、Cursor、Windsurf和任何兼容MCP的客户端。

______________________________________________________________________

基准测试

锈芯。通过ONNX运行时CLIP ViT-B/32。二进制 .avis 格式。真实数字来自 cargo test --release:

______________________________________________________________________

为什么选择AgenticVision

代理需要视觉连续性。 调试代理应该记住代码更改前后UI的样子。监控代理应检测视觉回归。研究代理应该随着时间的推移建立一个可视化知识库。

捕获一次，永远查询。 每个图像都嵌入到512维CLIP矢量中，并与其JPEG缩略图、时间戳和描述一起存储。通过余弦相似度、时间范围或文本搜索进行查询——以毫秒为单位。

二进制格式，不是数据库。 这 .avis 该文件是一个可移植的二进制文件——64字节的标头、JSON有效载荷、JPEG缩略图。复制它，分享它，备份它。没有服务器，没有数据库，没有依赖关系。

适用于每个MCP客户端。 AgentVision MCP通过模型上下文协议公开了21个工具、6个资源和4个提示。任何讲MCP的LLM都会自动获得视觉记忆。

链接到AgentMemory。 这 vision_link 该工具将视觉捕捉连接到 代理记忆 认知图节点——连接代理 *看见* 用什么 *知道*.

______________________________________________________________________

影子写手

v0.2.4中的新功能 --每5秒自动将视觉上下文同步到您的AI编码工具。

同步：最近的捕获、观察、可视化工具调用。 零配置。 上下文会自动保留会话。

MCP硬化

v0.2.5中的新功能 --生产级标准运输。

• 内容长度框架，限制为8 MiB
• JSON-RPC 2.0验证
• 原子写入（临时+重命名+fsync）
• 没有无声的倒退

______________________________________________________________________

运作原理

1. 捕捉 — vision_capture 接受来自文件、base64、屏幕截图或系统剪贴板的图像。每个图像都会调整大小，通过CLIP ViT-B/32嵌入到512维矢量中，压缩为JPEG缩略图，并存储在 .avis 二进制文件。截图支持可选区域捕获；剪贴板从操作系统剪贴板读取当前图像。

1. 查询 — vision_query 按时间范围、描述、最近度和质量约束检索捕获(min_quality, sort_by).结果包括捕获元数据、质量分数、缩略图和相似性分数。

1. 比较 — vision_compare 将两个捕获并排放置以进行LLM分析。 vision_diff 通过8×8网格区域检测进行像素级差分，以准确识别发生了什么变化。

1. 链接 — vision_link 将捕获连接到AgentMemory节点，将视觉观察与agent的认知图连接起来。代理可以回忆起“当我做出这个决定时，UI是什么样子的？”

这 .avis 二进制格式 使用64字节的固定标头（magic 0x41564953、版本、计数、时间戳），然后是一个JSON有效载荷，其中包含带有嵌入式JPEG缩略图和512个模糊浮点向量的捕获。单文件，可移植，无外部依赖。

MCP surface area

21工具 （核心11+接地3+工作空间5+观测1+会话1）：

6资源：

4提示：

______________________________________________________________________

安装

一个衬垫 （桌面配置文件，向后兼容）：

curl -fsSL https://agentralabs.tech/install/vision | bash

环境概况 （每个环境一个命令）：

# Desktop MCP clients (auto-merge Claude Desktop + Claude Code when detected)
curl -fsSL https://agentralabs.tech/install/vision/desktop | bash

# Terminal-only (no desktop config writes)
curl -fsSL https://agentralabs.tech/install/vision/terminal | bash

# Remote/server hosts (no desktop config writes)
curl -fsSL https://agentralabs.tech/install/vision/server | bash

服务器身份验证和工件同步

对于云/服务器运行时：

export AGENTIC_TOKEN="$(openssl rand -hex 32)"

所有MCP客户端必须发送 Authorization: Bearer . 如果 .avis/.amem/.acb 文件在另一台机器上，请先将它们同步到服务器。

CLI+MCP服务器 （适用于克劳德桌面、VS代码、光标、Windsurf）：

cargo install agentic-vision-cli agentic-vision-mcp

核心库 （适用于Rust项目）：

cargo add agentic-vision

配置Claude桌面 (~/Library/Application Support/Claude/claude_desktop_config.json):

{
  "mcpServers": {
    "agentic-vision": {
      "command": "agentic-vision-mcp",
      "args": ["--vision", "~/.vision.avis", "serve"]
    }
  }
}

看 安装.md 获取完整的安装指南、VS代码/游标配置、从源代码构建和故障排除。

不要使用 /tmp 用于视觉文件 --macOS和Linux会定期清除此目录。使用 ~/.vision.avis 用于持久存储。

部署模型

• 默认情况下为独立： AgentVision可独立安装和操作。与AgentMemory或AgentCodebase的集成是可选的，从来不是必需的。
• 默认情况下的自主操作： 守护进程/运行时维护使用基于安全配置文件的默认值，包括缓存卫生、迁移保护和健康分类账快照。

______________________________________________________________________

快速入门

MCP（克劳德桌面、VS代码、光标）

配置MCP服务器后（请参阅 安装)，问你的代理人：

“截图并记住。”

LLM电话 vision_capture 自动。随后：

“以前的屏幕是什么样子的？”

LLM电话 vision_query 以检索和显示过去的捕获。

锈蚀API

use agentic_vision::{VisionStore, CaptureSource};

let mut store = VisionStore::open("observations.avis")?;

// Capture from file
let id = store.capture(
    CaptureSource::File("screenshot.png"),
    "Homepage after deploy"
)?;

// Find similar
let matches = store.similar(id, 5)?;
for m in matches {
    println!("  {} (similarity: {:.3})", m.description, m.score);
}

______________________________________________________________________

常见工作流

1. 跟踪UI回归 --部署后，捕获之前/之后的屏幕截图并进行比较：

   vision_capture  (before deploy screenshot, label: "pre-deploy")
   vision_capture  (after deploy screenshot,  label: "post-deploy")
   vision_diff     id_a= id_b=    # Pixel-level region diff

1. 建立视觉证据线索 --在调试过程中，将屏幕截图附加到内存节点：

   vision_capture  source=screenshot, labels=["bug-123", "dialog-state"]
   vision_link     capture_id= memory_node_id= relationship="evidence_for"

1. 查找类似的UI状态 --在诊断反复出现的视觉错误时：

   vision_similar  capture_id= top_k=5 min_similarity=0.8

1. 审计捕获质量 --定期维护以清理陈旧或低质量的捕获物：

   vision_health   stale_after_hours=168 low_quality_threshold=0.45

______________________________________________________________________

验证

两篇研究论文：

• 论文一：Cortex——网络制图（10页，8图，13表）
• 论文二：代理视觉MCP——通过MCP实现持久视觉记忆（8页，4图，7表）

______________________________________________________________________

存储库结构

这是一个Cargo工作区monorepo，包含核心库、CLI、MCP服务器和FFI绑定。

agentic-vision/
├── Cargo.toml                    # Workspace root
├── crates/
│   ├── agentic-vision/           # Core library (crates.io: agentic-vision v0.2.2)
│   ├── agentic-vision-cli/       # CLI (crates.io: agentic-vision-cli v0.2.2)
│   ├── agentic-vision-mcp/       # MCP server (crates.io: agentic-vision-mcp v0.2.2)
│   └── agentic-vision-ffi/       # FFI bindings (crates.io: agentic-vision-ffi v0.2.2)
├── tests/                        # Integration tests (Python → Rust, multi-agent)
├── models/                       # ONNX model directory (CLIP ViT-B/32)
├── publication/                  # Research papers (I, II)
├── assets/                       # SVG diagrams and visuals
└── docs/                         # Guides and reference

运行测试

# All workspace tests (unit + integration)
cargo test --workspace

# Core library only
cargo test -p agentic-vision

# MCP server only
cargo test -p agentic-vision-mcp

# Python integration tests
python tests/integration/test_mcp_clients.py
python tests/integration/test_multi_agent.py

MCP服务器快速启动

cargo install agentic-vision-cli agentic-vision-mcp

配置Claude桌面(~/Library/Application Support/Claude/claude_desktop_config.json):

{
  "mcpServers": {
    "agentic-vision": {
      "command": "agentic-vision-mcp",
      "args": ["--vision", "~/.vision.avis", "serve"]
    }
  }
}

配置VS代码/光标(.vscode/settings.json):

{
  "mcp.servers": {
    "agentic-vision": {
      "command": "agentic-vision-mcp",
      "args": ["--vision", "~/.vision.avis", "serve"]
    }
  }
}

agentic-vision-mcp 支持以行分隔的JSON-RPC和 Content-Length 带框架的MCP stdio消息。

______________________________________________________________________

路线图：下一个--远程服务器支持

下一个版本计划为远程部署添加HTTP/SSE传输。跟踪进度 #2.

计划的CLI形状（当前版本中不可用）：

agentic-vision-mcp serve-http --port 8081 --token ""
agentic-vision-mcp serve-http --multi-tenant --data-dir /data/users --port 8081 --token ""

______________________________________________________________________

.avis文件

你的特工的视觉记忆。它所看到的一切。

| | | |-|-| |大小|20年内约5-8GB| |格式|带嵌入的二进制捕获| |适用于|任何具有视觉能力的模型|

v0.2：接地和工作区

接地：没有捕获证据，代理人不能声称“页面显示X”。

工作区：跨站点和时间段进行比较。

______________________________________________________________________

贡献

看 贡献.md.最快的帮助方式：

1. 试试看 和 文件问题
2. 添加MCP工具 --扩展视觉记忆表面
3. 写一个例子 --展示一个真实的用例
4. 改进文档 --每一个澄清都有助于某人

______________________________________________________________________

隐私与安全

• 所有捕获都保持在本地 .avis 默认情况下，没有遥测，没有云同步。
• 元数据清理在存储之前从捕获的图像中删除EXIF和位置数据。
• 存储预算策略通过20年的预测和捕获汇总来防止磁盘无限增长。
• 服务器模式要求显式 AGENTIC_TOKEN 承载身份验证的环境变量。
• 质量评分有助于识别和修剪低价值的捕获，以保持商店的精简。

______________________________________________________________________

Built by Agentra Labs