Pixel Ml MCP

代理视频智能

索引。搜索。检测。 AI代理的视频智能工具包 像素ML.

pip install pixelml-av

av做什么

视频存储器 --摄取视频，按自然语言搜索，用RAG引文提问。

监视情报 --使用时间推理检测闭路电视录像中的跌倒、长队、人群聚集和轮椅依从性。

快速开始

视频搜索

# 1. Set up your provider
av config setup

# 2. Ingest a video
av ingest video.mp4

# 3. Search
av search "person with red bag"

# 4. Ask questions
av ask "what happened at 2:30?"

监控检测

# Cloud (quick start — Gemini free tier)
export AV_API_KEY=your-gemini-key
av sentinel video.mp4

# Local (free, private — runs on your Mac/GPU)
ollama pull mistral-small3.2
av sentinel video.mp4 --provider ollama

# Specific alerts
av sentinel video.mp4 --alerts FALL,LONG_QUEUE

# Batch a directory
av sentinel videos/ --camera cam_lobby

所有命令

# Video memory
av ingest video.mp4             # Index video content
av search "what was discussed"  # Semantic search
av ask "key decisions?"         # RAG Q&A with citations
av list                         # List indexed videos
av transcript  --format vtt # Get transcript
av export --format jsonl        # Export all data
av export --format jsonl

# Surveillance intelligence
av sentinel video.mp4              # Detect events (all 4 alert types)
av sentinel video.mp4 --alerts FALL # Fall detection only
av sentinel video.mp4 -p ollama    # Self-hosted (free)
av sentinel videos/ -c cam_lobby   # Batch with camera tracking

Sentinel——监视事件检测

使用VLM观测的时间推理检测4种事件类型：

Sentinel供应商

自动检测：如果没有指定提供者，av会尝试Gemini→ 开放路由→ 奥拉玛→ OpenAI。

运作原理

Video → 30s chunks (5s overlap)
  → 8 frames per chunk
  → VLM perception (positions, queue, crowd, wheelchair)
  → Temporal agent (state across chunks)
  → Alert rules (transition detection, persistence, growth)
  → JSON output

基于21个视觉模型的107个实验。关键见解：结构提取+时间规则胜过通用的“检测异常”提示。

配置

交互式设置（推荐）

av config setup

从四个供应商中选择：

配置已保存到 ~/.config/av/config.json 并在会话中持续存在。

注： Anthropic和Gemini不支持Whisper转录。对于这些提供商，请使用 av ingest --captions 用于基于帧的字幕，或设置 AV_OPENAI_API_KEY 用于转录回退。

环境变量

Env-vars总是覆盖config.json：

export AV_API_KEY="sk-..."
export AV_API_BASE_URL="https://api.openai.com/v1"  # or any OpenAI-compatible endpoint
export AV_TRANSCRIBE_MODEL="whisper"
export AV_VISION_MODEL="gpt-4-1"
export AV_EMBED_MODEL="text-embedding-3-small"
export AV_CHAT_MODEL="gpt-4-1"

需求

• Python 3.11+
• FFmpeg(brew install ffmpeg)
• 来自OpenAI、Anthropic或Google或Codex CLI OAuth的API密钥

命令

许可证

Apache许可证2.0——请参阅 许可证 了解详情。