自主QA测试委员会MCP服务器
一个模型上下文协议（MCP）服务器，为Python应用程序提供多代理自主测试系统。灵感来自Openbserve自主QA测试架构的最佳实践。
目的
此MCP服务器编排了一个“子代理委员会”，该委员会自动化了整个软件测试生命周期，包括代码分析、测试生成、执行和Python应用程序的修复，具有前端（Playwright）和后端（pytest）测试功能。
特性
当前实施情况
clone_repository-克隆或更新GitHub存储库以进行测试analyze_codebase-分析Python代码库结构并识别可测试的组件（函数、类、导入）generate_unit_tests-为Python函数和类生成pytest单元测试generate_e2e_tests-为web应用程序生成Playwright E2E测试execute_tests-使用覆盖率报告和HTML报告运行pytestrepair_failing_tests-分析测试失败并提供智能维修建议generate_github_workflow-创建GitHub Actions CI/CD工作流以进行自动化测试orchestrate_full_qa_cycle-完整的端到端QA自动化（克隆→ 分析→ 生成→ test → 报告）
代理架构
该系统实施了一个专门代理人委员会：
- 存储库代理 -处理git操作和代码检索
- 分析代理 -执行基于AST的代码分析，以识别可测试的组件
- 测试生成器代理 -基于代码结构创建单元和E2E测试
- 执行人代理人 -使用pytest/Playwright运行测试并收集指标
- 修补剂 -分析故障并提出修复建议
- CI/CD代理 -生成部署管道
- 编排器代理 -协调所有代理以实现完全自动化
先决条件
- 启用MCP工具包的Docker桌面
- Docker MCP CLI插件(
docker mcp命令） - GitHub帐户（可选：私有仓库的GitHub个人访问令牌）
安装
请参阅随文件提供的分步说明。
使用示例
在Claude Desktop中，您可以问：
基本操作
- “克隆存储库https://github.com/user/repo并分析其测试覆盖率”
- “分析/app/repos/myproject中的Python代码库”
- “为src/utils/helpers.py文件生成单元测试”
- “创建E2E测试https://myapp.example.com"
测试执行
- “运行存储库中的所有测试，并向我显示覆盖率报告”
- “执行身份验证模块的测试”
- “哪些测试失败了，我该如何修复它们？”
全自动化
- “在上运行完整的QA周期https://github.com/user/webapp"
- “使用GitHub Actions为我的存储库设置自动测试”
- 为我的项目分析、测试和生成CI/CD管道
建筑
Claude Desktop → MCP Gateway → QA Council MCP Server → GitHub/File System
↓
[Council of Sub-Agents]
↓
pytest + Playwright + Coverage
↓
Test Reports & Metrics发展
本地测试
# Set environment variables for testing
export GITHUB_TOKEN="ghp_your_token_here"
# Run directly
python qa_council_server.py
# Test MCP protocol
echo '{"jsonrpc":"2.0","method":"tools/list","id":1}' | python qa_council_server.py添加新工具
- 将该功能添加到
qa_council_server.py - 用…装饰
@mcp.tool() - 确保单行文档字符串
- 用新的工具名称更新目录条目
- 重建Docker镜像
扩展CI/CD支持
这 generate_github_workflow 功能可以扩展以支持：
- GitLab CI（.GitLab CI.yml）
- 詹金斯（詹金斯档案）
- CircleCI（.CircleCI/config.yml）
- Azure管道（Azure Pipelines.yml）
测试数据生成
系统自动生成：
- 基于功能特征的测试夹具
- API测试模拟数据
- 边缘案例测试的样本输入
- E2E测试的剧作家页面对象
覆盖指标
所有测试执行包括：
- 线路覆盖率
- 分行覆盖率分析
- HTML覆盖率报告
- CI/CD集成的XML覆盖率
- 测试执行时间指标
故障排除
工具未出现
- 验证Docker镜像构建成功：
docker images | grep qa-council - 检查目录和注册表文件
- 确保Claude Desktop配置包括自定义目录
- 完全重新启动克劳德桌面
存储库克隆失败
- 验证GitHub令牌是否设置正确
- 检查存储库URL格式
- 确保网络连接
- 对于私有仓库，令牌必须具有仓库访问权限
测试执行错误
- 验证是否安装了pytest和剧作家
- 检查Python版本兼容性（3.11+）
- 确保测试文件遵循pytest惯例
- 查看测试输出中的特定错误消息
剧作家问题
- 浏览器安装：
playwright install chromium - 对于无头错误，请确保依赖关系：
playwright install-deps - 检查头部模式的显示设置
安全注意事项
- 存储在Docker Desktop机密中的GitHub令牌
- 所有操作都以非root用户（mcpuser）身份运行
- 容器中隔离的存储库克隆
- 无凭据记录或暴露
- 测试结果不包含敏感数据
性能优化
- 存储库克隆使用浅层克隆来提高速度
- 尽可能并行执行测试
- 针对大型代码库优化了覆盖率收集
- 缓存重复执行的结果
未来的增强功能
- 与测试数据生成库（Faker、Factory Boy）集成
- AI驱动的测试改进建议
- 自动测试数据清理
- Docker Compose集成测试
- 使用Locust进行性能测试
- 视觉回归测试
- 突变检测支持
许可证
MIT许可证