Multi Agent Research MCP

🔬 多智能体研究助理

使用LangGraph、RAG和实时评估的自主代理进行人工智能驱动的研究。 现场演示：https://multi-agent-research-mcp-pr.streamlit.app/

🏗️ 建筑

┌─────────────────────────────────────────────────────────────┐
│                    LangGraph State Machine                   │
├─────────────┬─────────────┬─────────────┬─────────────────────┤
│ Researcher  │   Critic    │ Synthesizer │     Evaluator      │
│   Agent     │   Agent     │   Agent     │   (RAGAS/DeepEval) │
├─────────────┴─────────────┴─────────────┴─────────────────────┤
│                    ChromaDB Vector Store                      │
├───────────────────────────────────────────────────────────────┤
│              Tavily Search    │    Groq (Llama 3.3)          │
└───────────────────────────────────────────────────────────────┘

✨ 特性

• LangGraph状态机：有条件的布线、修订循环
• 向量数据库：ChromaDB用于语义搜索和RAG
• 多代理管道：研究员→ 批评家→ 合成器→ 评估者
• 实时流媒体：异步SSE进行实时更新
• 导出选项：PDF，带APA/MLA/Chicago引文的Markdown
• RAG评估：RAGAS启发的指标（相关性、忠诚度、连贯性）
• FastAPI后端：带有异步作业处理的REST API
• Docker+CI/CD：GitHub操作，容器化部署

🚀 快速开始

本地开发

# Clone
git clone https://github.com/saitejasrivilli/multi-agent-research-mcp
cd multi-agent-research-mcp

# Install
pip install -r requirements.txt

# Configure
cp .env.example .env
# Add your GROQ_API_KEY and TAVILY_API_KEY

# Run Streamlit
streamlit run app.py

# Run API (separate terminal)
uvicorn src.api.main:app --reload

码头工人

docker-compose up

📡 API终点

📊 评估指标

评估结果总结

使用RAGAS风格的评估器进行50个查询确定性基准测试 src/evaluation/metrics.py.

消融：多药剂vs单药剂

生产绩效

在Groq按需每日令牌限制停止剩余请求之前，来自28个已完成查询的实时基准样本。

推荐使用案例

高适配用例：

未经专家评审的不合适用例：

📈 基准和结果

运行可复制的50查询基准测试：

PYTHONPATH=. python3 benchmarks/run_benchmark.py --limit 50

人工产品：

50个查询RAGAS风格基准

详细方法见 docs/evaluation_results.md.

注意：默认的基准测试是一个确定性代理，所以评审人员可以在没有API密钥的情况下运行它。将其视为回归和连线测试，而不是实时网络搜索质量的证明。实时评估：

PYTHONPATH=. python3 benchmarks/run_benchmark.py --live --api-url http://127.0.0.1:8000

推荐的实时工作流程：

PYTHONPATH=. uvicorn src.api.main:app --host 127.0.0.1 --port 8000
PYTHONPATH=. python3 benchmarks/run_benchmark.py --limit 1 --live --api-url http://127.0.0.1:8000
PYTHONPATH=. python3 benchmarks/run_benchmark.py --limit 50 --live --api-url http://127.0.0.1:8000 --delay-seconds 5

不要使用运行API --reload 在实时基准测试期间。作业存储在内存中，因此重新加载可以在基准轮询之前删除挂起的作业。

实时基准测试示例

在Groq按需每日令牌限制停止剩余请求之前，实时运行完成了50个基准查询中的28个。生成的完整实时子集：

已完成子集中的实时生产指标：

失败的实时查询是由提供程序令牌限制引起的，而不是基准逻辑。使用以下命令恢复部分实时运行：

PYTHONPATH=. python3 benchmarks/run_benchmark.py --start 30 --limit 21 --live --api-url http://127.0.0.1:8000 --delay-seconds 5

消融研究：多智能体vs单智能体

详细的消融记录见 docs/消融研究.md.

评论家/评估者阶段提高了忠诚度和完整性。单代理基线更快、更便宜。这种权衡应该是显而易见的。

🔎 失效分析

详细的故障分析见 docs/failure_analysis.md.

最高风险故障模式：

📡 生产指标

生产指标在 src/observability/metrics.py.

高匹配用例：市场扫描、技术概述、文献风格总结、竞争情报草稿和尽职调查简报。

没有专家审查的不合适用例：法律建议、医疗建议、财务决策和实时突发新闻索赔。

🛠️ 技术栈

• LLM：火焰3.3 70b（Groq）
• 搜索：塔维利AI
• 编排LangGraph：
• 矢量数据库：ChromaDB
• 评估：RAGAS/DeepEval
• 后端：FastAPI
• 前端：流光灯
• 部署：Docker、GitHub操作

📁 项目结构

├── app.py                 # Streamlit UI
├── src/
│   ├── graph/            # LangGraph state machine
│   ├── agents/           # Agent implementations
│   ├── vectordb/         # ChromaDB integration
│   ├── evaluation/       # RAGAS-style metrics
│   ├── observability/    # Production latency and cost metrics
│   ├── export/           # PDF/Markdown exporters
│   └── api/              # FastAPI backend
├── benchmarks/           # 50-query benchmark runner and query set
├── results/              # Saved benchmark and ablation outputs
├── docs/                 # Evaluation, ablation, failure analysis, and production metrics notes
├── tests/                # Test suite
├── Dockerfile
├── docker-compose.yml
└── .github/workflows/    # CI/CD

📜 许可证

麻省理工学院