🤖 具有感知-动作-决策记忆（PADM）架构的多模态Agent
一个复杂的人工智能代理系统，通过具有内置验证和推理的模块化架构，将数学计算、系统自动化和通信能力相结合。
🏗️ 架构概述
核心组件
1. 🧠 感知层 (perception.py)
- 目的：从自然语言用户输入中提取结构化事实
- 能力:
- 任务识别和目标提取 - 实体识别（人、地点、电子邮件地址） - 用户特征检测（沟通风格：搞笑、正式、讽刺） - 偏好提取（颜色偏好、格式偏好） - 需求解析和约束识别
- 技术：带有结构化输出解析的Google Gemini 2.0 Flash
- 输出：结构化事实与置信度评分
2. 🧮 内存层 (memory.py)
- 目的：事实和背景的持久存储和检索
- 能力:
- 具有分类功能的事实存储（实体、特征、偏好） - 基于LLM关联匹配的上下文感知事实检索 - 决策上下文的记忆摘要
- 存储：具有时间戳和相关性评分的内存事实数据库
- 整合：为决策层提供上下文，以进行个性化响应
3. 🎯 决策层 (decision.py)
- 目的：智能工具选择和工作流编排
- 能力:
- 具有明确验证要求的逐步推理 - 基于上下文、内存和用户偏好的工具选择 - 结构化输出格式强制（FUNCTION_CALL/FINAL_ANSWER） - 数学运算的强制性验证工作流程
- 技术：加强核查执行的系统提示
- 输出：具有推理痕迹的结构化决策
4. ⚡ 动作层 (action.py)
- 目的：工具执行和系统交互
- 能力:
- 数学工具：15+数学运算，支持验证 - 系统自动化：具有UI自动化的绘图应用程序控制 - 沟通：用于电子邮件发送的Gmail API集成 - 验证：具有相对/绝对公差的内置结果验证
- 技术：使用FastMCP的MCP（模型上下文协议）框架
🔧 可用工具
数学运算
- 基本算术：
add,subtract,multiply,divide - 高等数学：
power,sqrt,cbrt,factorial,log - 三角函数：
sin,cos,tan - 字符串处理：
strings_to_chars_to_int,int_list_to_exponential_sum - 序列：
fibonacci_numbers - 验证:
verify具有智能公差的工具（大数值相对，小数值绝对）
系统自动化
- 油漆集成:
open_paint,draw_rectangle_and_text
- 颜色选择支持（红、黄、绿、黑） - 基于图像的UI自动化使用 pyautogui - 矩形绘制和文本插入
沟通
- 电子邮件:
send_email通过Gmail API
- 个性化问候和签名 - 支持用户通信风格偏好
✅ 验证系统
强制验证工作流程
- 数学运算 → 2. 验证（必填） → 3. 下一步
- 必须立即验证所有数学计算
- 智能公差系统：
- 大量 （>1e-6）：相对公差（0.01%） - 小数目 （≤1e-6）：绝对公差（1e-10）
- 验证中全面的数学函数支持(
exp,log,sqrt等等）
错误处理
- 针对Windows兼容性的Unicode编码修复
- 详细的错误记录和恢复机制
- 优雅的降级，带有信息丰富的错误消息
📋 系统即时评估
我们的系统提示已根据“提示提示”标准进行了评估：
{
"explicit_reasoning": true,
"structured_output": true,
"tool_separation": true,
"conversation_loop": true,
"instructional_framing": true,
"internal_self_checks": true,
"reasoning_type_awareness": true,
"fallbacks": true,
"overall_clarity": "Excellent structure with comprehensive verification, clear examples, and mandatory workflow enforcement. Strong separation of reasoning and tools with explicit self-checks."
}✅ 评估详情：
- ✅ 显式推理指令：“一步一步地思考，在选择工具之前先思考”
- ✅ 结构化输出格式：被强迫
FUNCTION_CALL: function_name|param1|param2和FINAL_ANSWER: [result] - ✅ 推理与工具的分离：明确工作流程：计算→ 验证→ 进行
- ✅ 对话循环支持：具有迭代历史和内存集成的多回合上下文
- ✅ 教学框架：具有强制性验证模式的综合示例
- ✅ 内部自检：每次数学运算后强制验证
- ✅ 推理类型意识：“确定使用的推理类型，如算术、逻辑、查找工具、系统工具”
- ✅ 错误处理或回退：“如果某个工具出现故障，请告知用户原因并按照指定的回退工具进行操作”
- ✅ 整体清晰度和稳健性：结构化的章节、清晰的示例和明确的执行规则
🚀 主要成就
1. 模块化架构
- 4层之间的关注点清晰分离
- 具有适当错误处理的异步处理
- 可扩展设计，用于添加新工具和功能
2. 智能验证
- 所有数学运算的自动验证
- 处理大数字和小数字的智能公差系统
- 评估中的综合数学函数支持
3. 用户个性化
- 偏好提取和存储（颜色、沟通风格）
- 基于用户特征的上下文感知响应
- 跨会话的记忆驱动个性化
4. 稳健的系统集成
- 使用基于图像的UI控件实现绘画应用程序自动化
- Gmail API与OAuth2身份验证的集成
- 与Windows特定优化的跨平台兼容性
5. 增强型快速工程
- 根据既定标准进行系统评估
- 强制执行工作流以提高可靠性
- 清晰的示例和结构化的输出要求
🔄 工作流示例
User Input: "I prefer red color and funny answers. Calculate ASCII values of INDIA, find exponential sum, draw in Paint, and email the result."
1. PERCEPTION: Extracts preferences (color:red, style:funny) and task breakdown
2. MEMORY: Stores user preferences for future use
3. DECISION: Plans step-by-step workflow with verification
4. ACTION: Executes tools in sequence:
- strings_to_chars_to_int|INDIA → [73,78,68,73,65]
- verify|ord('I')+ord('N')+ord('D')+ord('I')+ord('A')|[73,78,68,73,65] → True
- int_list_to_exponential_sum|[73,78,68,73,65] → 7.59982224609308e33
- verify|exp(73)+exp(78)+exp(68)+exp(73)+exp(65)|7.59982224609308e33 → True
- open_paint → Success
- draw_rectangle_and_text|7.59982224609308e33|red → Success
- send_email|user@email.com|Story|Name|Funny story about the result → Success🛠️ 技术栈
- 语言：Python 3.8+
- LLM：谷歌双子座2.0 Flash
- 框架：带FastMCP的MCP（模型上下文协议）
- UI自动化：pyautogui、pywinauto、pydirectinput
- 电子邮件：带有OAuth2的Gmail API
- 数据模型：Pydantic用于类型安全和验证
- 异步：asyncio用于并发操作
📁 项目结构
first_padm/
├── main.py # Orchestrator and entry point
├── perception.py # Fact extraction from user input
├── memory.py # Fact storage and retrieval
├── decision.py # Tool selection and workflow planning
├── action.py # Tool implementations (MCP server)
├── model.py # Pydantic data models
├── pyproject.toml # Dependencies and project config
└── *.jpg # UI automation image assets🎯 未来的增强功能
- 后备工具：系统工具的多级回退策略
- 增强型内存：具有向量嵌入的持久存储
- 工具扩展：额外的系统自动化和API集成
- 性能优化：缓存和并行工具执行
- 高级验证：特定于域的验证规则
______________________________________________________________________
*该多模式代理展示了先进的人工智能编排，具有强大的验证、用户个性化和全面的系统集成功能。*