Domino数据科学平台的QA MCP服务器
通过MCP协议进行全面的UAT和性能测试
使用AI驱动的测试转换Domino平台验证。此MCP服务器公开 24种专用工具 和 2个标准化提示 使LLM能够执行智能平台评估、自动化UAT工作流程和数据驱动的性能分析。
🎯 这解锁了什么
问你的AI助手：
- *“我们的Domino平台准备好投入生产了吗？”*
- *“该系统可以处理50个并发数据科学作业吗？”*
- *“为什么用户遇到身份验证问题？”*
- *“我们的ML模型部署的基准性能是什么？”*
通过以下方式获得智能响应：
- ✅ 跨所有平台功能自动执行测试
- 📊 性能指标和容量分析
- 🔍 详细的诊断和可操作的建议
- 🚀 一个命令综合UAT套件
______________________________________________________________________
🚀 24种MCP工具可用
🔧 核心作业执行（4个工具）
使用MLflow集成执行和监控作业
run_domino_job | check_domino_job_run_status | check_domino_job_run_results | open_web_browser🧪 端到端UAT套件（14个工具）
以下是在 end_to_end_uat_protocol:
1. test_post_upgrade_env_rebuild - Environment build validation
2. test_file_management_operations - File operations
3. test_file_version_reversion - File version reversion
4. test_project_copying - Project copying
5. test_project_forking - Project forking
6. test_advanced_job_operations - Job operations
7. test_job_scheduling - Job scheduling
8. test_comprehensive_ide_workspace_suite - Workspace IDEs
9. test_workspace_file_sync - Workspace file sync
10. test_workspace_hardware_tiers - Hardware tiers
11. enhanced_test_dataset_operations - Dataset operations
12. test_model_api_publish - Model API publish
13. test_app_publish - App publish
14. run_admin_portal_uat_suite - Admin portal⚡ 性能测试（3个工具）
负载、压力和容量测试
performance_test_concurrent_jobs | performance_test_data_upload_throughput | performance_test_parallel_workspaces🧹 清理工具（2个工具）
UAT执行后删除测试资源
cleanup_all_project_workspaces | cleanup_all_project_datasets🔐 身份验证（1个工具）
用户访问验证
test_user_authentication______________________________________________________________________
📝 MCP提示（2个标准化工作流程）
提示 是预先配置的工作流，指导LLM完成结构化测试序列。LLM客户端从以下位置读取凭据 @domino_project_settings.md 并将其作为参数提供。
提示1： quick_auth_test
目的： 快速用户身份验证
参数：
user_name：Domino用户名（来自@Domino-project_settings.md）project_name：Domino项目名称（来自@Domino-project_settings.md）
它的作用：
- 执行
test_user_authentication工具 - 使用提供的凭据验证平台访问权限
- 返回身份验证状态报告
典型用例： 在运行综合套件之前，首先进行测试以验证凭据是否正常工作
______________________________________________________________________
提示2： end_to_end_uat_protocol
目的： 全面的14测试UAT套件，具有严格的连续执行能力
参数：
user_name：Domino用户名（来自@Domino-project_settings.md）project_name：Domino项目名称（来自@Domino-project_settings.md）
强制测试顺序（按此顺序执行）：
- test_post_upgrade_env_rebuild -环境构建验证
- test_file_管理_操作 -文件操作（上传、下载、移动、重命名）
- test_file_version_reversion -文件版本控制和恢复
- test_project_copying -项目复制功能
- 测试_项目_工作 -项目分叉功能
- test_advanced_job_operations -高级作业操作
- test_job_scheduling -作业调度工作流
- 测试_综合_设计_工作空间_套件 -所有工作区IDE（Jupyter、RStudio、VSCode）
- test_workspace_file_sync -工作区文件同步
- 测试_工作空间_硬件_硬件 -硬件层验证（小k8、中k8、大k8）
- 增强测试数据操作 -增强的数据集操作
- test_model_api_publish -API模型发布
- test_app_publish -应用程序发布
- run_admin_portal_uat_suite -管理门户综合验证
清理阶段（测试14后执行）：
cleanup_all_project_workspaces-删除所有测试工作区cleanup_all_project_datasets-删除所有测试数据集
最终报告： 包含通过/失败状态和建议的综合汇总表
⚠️ 严格执行规则：
- ✅ 连续执行（测试之间没有暂停）
- ✅ 执行过程中没有用户确认请求
- ✅ 仅在所有14个测试完成后进行清理
- ✅ 最后一份综合报告
- ❌ 测试之间不要停下来或要求输入
使用提示
- 创建配置文件 (
domino-qa/domino_project_settings.md):
USER_NAME = "your-username"
PROJECT_NAME = "your-project-name"- 在LLM客户端中调用Prompt:
"Run the quick_auth_test prompt with my credentials from @domino_project_settings.md"或
"Execute the end_to_end_uat_protocol using settings from @domino_project_settings.md"LLM客户将：
- 阅读
@domino_project_settings.md - 提取用户名和项目名
- 使用这些参数调用提示符
- 执行指导工作流程
______________________________________________________________________
📋 设置
1.安装依赖项
git clone
cd qa_mcp_server
uv pip install -e .2.配置环境
创建 .env 文件：
DOMINO_API_KEY='your_api_key_here'
DOMINO_HOST='https://your-domino-instance.com'3.在游标中配置MCP
添加 .cursor/mcp.json:
{
"mcpServers": {
"qa_mcp_server": {
"command": "uv",
"args": ["--directory", "/path/to/qa_mcp_server", "run", "domino_qa_mcp_server.py"]
}
}
}4.开始测试
问你的AI： *“对我们的Domino平台进行全面的UAT评估”*
______________________________________________________________________
💡 智能功能
🔄 智能资源管理
- 自动生成的唯一名称（时间戳+UUID）
- 自动清理测试资源
- 优雅的错误处理和恢复
📊 性能洞察
- 并行作业能力测试（20+个并行作业）
- 数据上传吞吐量分析
- API压力测试（100+请求/秒）
- 资源利用监控
🎯 全面覆盖
- 身份验证工作流→ 模型部署
- 基础设施验证→ 用户体验测试
- 管理操作→ 数据科学工作流程
- 性能基线→ 容量规划
🤖 LLM优化响应
- 具有可操作见解的结构化JSON
- 通过/失败评分并提出改进建议
- 性能分析的详细指标
- 面向非技术利益相关者的自然语言摘要
______________________________________________________________________
🚀 示例工作流
平台就绪性评估：
You: "Is our platform ready for 100 data scientists?"
AI: → Runs run_master_comprehensive_uat_suite()
Response: ✅ 85% overall readiness | ⚠️ Scale workspace resources | 📊 Baseline: 45 concurrent jobs性能调查：
You: "Why are model deployments slow?"
AI: → Runs enhanced_test_model_operations() + performance_test_concurrent_jobs()
Response: 🔍 Model registry bottleneck detected | ⏱️ Avg deployment: 3.2min | 💡 Recommend compute upgrade容量规划：
You: "What's our current performance baseline?"
AI: → Runs performance testing suite
Response: 📊 20 concurrent jobs max | 🚀 85MB/s upload speed | 💾 65% resource utilization | 📈 Growth capacity: 40%______________________________________________________________________
准备好转换Domino平台验证了吗？ 安装MCP服务器，让AI处理您的UAT工作流程！
技术栈： Python 3.11+|FastMCP|Python domino v1.4.8|domino v6.1+