MCP飞行前顾问
为AI代理提供确定性、可解释性建议的MCP服务器 关于工具使用——无需执行工具、执行决策或使用ML。
为什么存在
基于LLM的代理经常做出糟糕的工具选择:
- 工具选择不一致
- 缺失的证据被充满信心的猜测所取代
- 忘记以前的失败
- 工具选择逻辑不透明且不可检查
该项目将部分决策外化为 确定性、可审计的系统,可以为代理提供建议,但不能控制代理。
此服务器的功能
MCP Preflight Advisor运行 *之前* 工具执行和:
- 评估任务描述和可用工具
- 建议工具顺序(仅供参考)
- 分配具有明确不确定性的置信度分数
- 当证据不足或负面时发出警告
- 解释为什么给出建议
- 在可用时引用类似的过去任务
此服务器不做什么
- 执行工具
- 阻止或强制代理行为
- 训练或运行ML模型
- 自主决策
设计理念
- 咨询,而非专制
- 证据优先,不要先回答
- 聪明模型之上的可解释逻辑
- 自治之上的护栏
- 对新奇事物的决定论
顾问旨在说: “我没有信心,原因如下。”
工作原理(高级)
- 确定性规则生成初始工具建议。
- 历史结果保守地调整了信心。
- 负面证据会产生明确的警告。
- 如果可能的话,类似的过去任务也会浮出水面。
- 向代理返回结构化的咨询响应。
所有推理都被记录下来并可检查。
为什么没有机器学习
这个项目有意避免使用ML模型。
相反,它使用:
- 确定性原则
- 简单数学评分
- 历史统计
- 保守阈值
目标是:
- 可解释性
- 调试性
- 可预测的行为
- 工程清晰度
机器学习可能会在未来的阶段进行探索,但它不是基础。
这个项目展示了什么
- 语法之外的MCP理解
- 不确定性下的系统设计
- 政策与执行分离
- 状态和持久性设计
- 决策的可观察性
- 工程约束
状态
这是一个工作演示:
- MCP服务器集成
- 咨询规则
- 信心评分
- 结果感知警告
- 相似性匹配
- 持久性机构记忆(SQLite)
未来的工作可能包括:
- 更丰富的相似性度量
- 可配置策略
- 生产级持久性
故障注入示例
为了演示不确定性处理,可以对顾问进行播种 对于给定的工具序列,重复出现故障。
当再次评估同一任务时:
- 信心降低
- 警告级别升高
- 负面历史明显浮出水面
这种行为是确定的,可以解释的。
