MCP Riskcue

MCP风险提示

项目概述

MCP RiskCue随附论文“MCP RiskCue:LLM可以从MCP服务器系统日志中推断风险信息吗？”(https://arxiv.org/pdf/2511.05867).存储库打包了复制我们的基准测试和实验所需的一切。

关键部件：

• Environment/：精心策划的系统日志池。
• Client/：用于查询服务器和收集响应的MCP客户端。
• Evaluator/：用于定量评估的评分脚本。
• Figures/：用于可视化指标的绘图工具。
• Data/：训练和测试拆分(train.jsonl, test.jsonl)加上生成脚本。
• Servers/：用于模拟的最小MCP服务器。
• Prompts/：整个流程中使用的提示模板。

设置

• 使用Python 3.9或更高版本。
• 创建并激活虚拟环境。
• 安装依赖项，例如 pandas, numpy，以及 matplotlib 根据各个模块的要求。
• 填充 .env 文件中包含必要的API密钥和机密。

评估模型

内部 Model_output_rx/，要么运行 python pipeline_local.py 对于本地托管的模型或 python pipeline_remote.py 对于远程端点。有关可选标志，请参阅脚本文档字符串。

培训指导

我们建议将强化学习框架应用于 Data/ 并重用提供的脚本进行日志记录和评估。在我们的项目中，我们使用了slime框架：https://github.com/PorUna-byte/slime

基准施工（已完成）

此存储库中的基准工件是预先构建的。如果需要重新生成它们：

1. 自 Servers/，跑 collate.py 组装服务器描述。
2. 自 Data/，跑 query_generator.py 创建每台服务器的查询。
3. 自 Data/，跑 history_generator.py 综合对话历史。
4. 自 Data/，跑 curate_train_test.py 将历史划分为训练/测试集。
5. 自 Data/，跑 data_format.py 以最终确定数据集布局。