📡 RAG+MCP新闻分类与预警系统
项目探索 实时新闻分类、RAG增强摘要和MCP启发的决策逻辑.
______________________________________________________________________
📖 概述
该项目实现了 实时新闻管道 即：
- 摄取实时新闻文章（RSS提要）。
- 将它们分为以下几类：
hate_speech,misinformation,emergency,neutral.
- 使用以下方式总结文章 检索增强生成（RAG）.
- 适用于 MCP启发的代理逻辑 决定系统动作：
- 触发警报（电子邮件/短信/webhook）。 - 归档非关键新闻。 - 总结错误信息/紧急情况。
- 通过以下方式显示结果 REST API+实时仪表板.
该系统提供了一个比较框架：
- 基线： 仅变压器（DistilBERT+BART）。
- 提出： 变压器+RAG+MCP决策层。
______________________________________________________________________
📂 项目结构
news-rag-mcp/
├─ ingestion/ # RSS poller
├─ backend/ # FastAPI backend (REST + streaming)
├─ models/ # Transformers (classification)
├─ rag/ # FAISS index + RAG summarizer
├─ agent/ # MCP-inspired decision engine
├─ eval/ # Evaluation scripts (metrics, latency)
├─ dashboard/ # React.js frontend (alerts, trends)
├─ infra/ # Postgres + Docker configs
├─ data/ # Datasets and indexes
│ ├─ raw/
│ ├─ processed/
│ └─ indexes/
├─ notebooks/ # Experiments / EDA
└─ scripts/ # Utility scripts______________________________________________________________________
🔍 研究问题
- RQ1： 基于变压器的分类的有效性（DistilBERT、RoBERTa）。
- RQ2： 通过检索增强生成改进摘要。
- RQ3： 为情境感知决策构建MCP启发的逻辑。
______________________________________________________________________
📈 评估标准
| 方面 | 基线（仅变压器） | 建议（RAG+MCP） |
|---|---|---|
| 分类 | 精确度、召回率、F1、准确性 | 相同 |
| 摘要 | ROUGE，BLEU（静态模型） | ROUGE，BLEU+人工评估 |
| 检索 | N/A | 余弦相似度相关性 |
| 决策逻辑 | 基于规则 | MCP启发的模块化代理 |
| 警报及时性 | 摄入→ 测得的警报延迟 | 相同（目标时间\<5s） |
______________________________________________________________________
🚧 路线图
- \[x\] RSS摄取→ Postgres
- \[\]变压器基线分类器
- \[\]基线总结（BART）
- \[\]使用FAISS进行RAG总结
- \[\]MCP启发的基于规则的决策逻辑
- \[\]完全集成管道
- \[\]React仪表板
- \[\]评估实验
- \[\]论文写作
______________________________________________________________________