MCP服务器
基于主题生成主内容计划（MCP）的服务器。服务器聚合来自网络的资源，并将其组织成结构化的学习路径。
特性
- 为任何主题（而不仅仅是技术主题）生成学习路径
- 使用网络搜索和抓取查找相关资源
- 将资源组织成具有可定制节点数量的逻辑序列
- 支持多种语言，重点是葡萄牙语
- Render免费层的性能优化
- 缓存系统，响应速度更快
- 返回一个标准化的JSON结构，供客户端应用程序使用
- 新：基于TF-IDF的资源相关性过滤，以确保资源与请求的主题匹配
- 新：跨学习树的策略性测验分布，以获得平衡的学习体验
- 新：整合YouTube，将相关视频纳入学习路径
- 新：分类系统，为不同类型的主题生成更具体的内容
- 新：具有实时进度反馈的异步任务系统，可改善用户体验并避免超时
- 新：增强的缓存系统可提高性能和更快的响应时间
- 新：优化网络抓取技术，提高资源利用率
- 新：自适应抓取系统，自动为每个网站选择最有效的方法
- 新：Puppeteer实例池可实现高效的浏览器重用和减少内存使用
技术栈
- Python 3.9+
- 快速 API
- Pyppeteer用于JavaScript繁重的网络抓取
- Pyppeteer隐形技术，避免在网页抓取过程中被检测到
- Puppeter实例池，实现高效浏览器重用
- DuckDuckGo搜索API
- 用于HTML解析的BeautifulSoup
- 基于TF-IDF的资源相关性过滤的scikit-learn
- yt-dlp用于YouTube视频搜索和元数据提取
- Redis（可选）用于分布式缓存
- msgpack用于高效的数据序列化
- 用于高级内存缓存的cachetools
安装
- 克隆存储库：
git clone https://github.com/yourusername/mcp_server.git
cd mcp_server- 创建虚拟环境：
python -m venv venv
source venv/bin/activate # On Windows: venv\Scripts\activate- 安装Python依赖项：
pip install -r requirements.txt- 安装Node.js依赖项（用于优化的抓取系统）：
npm install- 安装用于Pyppeteer的Chrome/Chromium（如果尚未安装）
用法
本地运行
- 使用提供的批处理文件启动服务器（Windows）：
run_local.bat或者手动使用uvicorn：
uvicorn main:app --reload --host 0.0.0.0 --port 8000- 访问API
http://localhost:8000
- 通过向以下对象发出GET请求来生成MCP：
GET /generate_mcp?topic=your_topic- 查看API文档，网址：
http://localhost:8000/docs
生产URL
生产服务器位于：
https://reunemacacada.onrender.com本README中记录的所有端点都可以在本地和生产URL上找到。
测试缓存系统
- 首次请求生成MCP（这将填充缓存）：
GET /generate_mcp?topic=python&num_nodes=15&language=pt- 使用相同的参数发出第二个请求（这应该使用缓存）：
GET /generate_mcp?topic=python&num_nodes=15&language=pt第二个请求应该快得多，因为结果将从缓存中检索。
文档
详细文档可在 docs 文件夹：
- api参考 -API详细文件
- 端点参考 -所有端点的完整参考
- Flutter集成 -与Flutter应用程序集成指南
- 异步任务系统 -异步任务系统的文档
- 性能改进 -性能优化概述
- 缓存系统 -缓存系统文档
- Web抓取优化 -web抓取优化的详细信息
API终点
GET /health-健康检查端点GET /generate_mcp?topic={topic}&max_resources={max_resources}&num_nodes={num_nodes}&min_width={min_width}&max_width={max_width}&min_height={min_height}&max_height={max_height}&language={language}&category={category}-同步为指定主题生成MCP
- topic （必填）：生成MCP的主题（至少3个字符） - max_resources （可选）：要包含的最大资源数（默认值：15，最小值：5，最大值：30） - num_nodes （可选）：学习路径中包含的节点数（默认值：15，最小值：10，最大值：30） - min_width （可选）：树的最小宽度（第一级节点）（默认值：3，最小值：2，最大值：10） - max_width （可选）：树的任何级别的最大宽度（默认值：5，最小值：3，最大值：15） - min_height （可选）：树的最小高度（深度）（默认值：3，最小值：2，最大值：8） - max_height （可选）：树的最大高度（深度）（默认值：7，最小值：3，最大值：12） - language （可选）：资源语言（默认值：“pt”） - category （可选）：主题的类别（例如，“技术”、“金融”、“健康”）。如果没有提供，它将被自动检测到。
POST /generate_mcp_async?topic={topic}&max_resources={max_resources}&num_nodes={num_nodes}&min_width={min_width}&max_width={max_width}&min_height={min_height}&max_height={max_height}&language={language}&category={category}-开始异步生成MCPGET /status/{task_id}-检查异步任务的状态GET /tasks-列出所有任务POST /clear_cache?pattern={pattern}&clear_domain_cache={clear_domain_cache}-根据模式清除缓存
- pattern （可选）：匹配缓存键的模式（默认值：“\*”表示全部） - clear_domain_cache （可选）：是否同时清除域方法缓存（默认值：false）
GET /cache_stats-获取有关缓存的统计信息，包括有关域方法缓存的信息
例子
基本用法（葡萄牙语）
GET /generate_mcp?topic=python自定义节点数
GET /generate_mcp?topic=machine+learning&num_nodes=20英语
GET /generate_mcp?topic=javascript&language=en手动指定类别
GET /generate_mcp?topic=python&category=technology完全定制
GET /generate_mcp?topic=história+do+brasil&max_resources=20&num_nodes=25&min_width=4&max_width=8&min_height=4&max_height=8&language=pt控制树结构
GET /generate_mcp?topic=machine+learning&min_width=2&max_width=4&min_height=5&max_height=10异步发电
POST /generate_mcp_async?topic=inteligência+artificial&category=technology检查任务状态
GET /status/550e8400-e29b-41d4-a716-446655440000清除缓存
POST /clear_cache清除特定缓存
POST /clear_cache?pattern=mcp:*性能改进
MCP服务器包括几个性能优化：
- 缓存系统：缓存结果以缩短重复查询的响应时间
- 异步任务系统：长时间运行的操作是异步处理的
- 资源筛选：基于TF-IDF的筛选，以选择最相关的资源
- 优化Web抓取：高效的网络抓取技术，减少资源使用
- 自适应刮擦系统：自动为每个网站选择最有效的抓取方法
- 木偶实例池：重用浏览器实例以减少内存使用和启动时间
- 域方法缓存：记住哪种抓取方法最适合每个域
- 资源阻塞：在抓取过程中阻止不必要的资源（图像、样式表、字体）
性能提升
- 响应时间减少60-80% 对于缓存中已有的主题
- 响应时间减少30-50% 对于新主题
- 内存使用量减少40-60% 在网页抓取过程中
- 吞吐量增加3-5倍 用于同时请求
部署
服务器可以部署到各种平台：
使用Docker
docker build -t mcp-server .
docker run -p 8080:8080 mcp-server部署到Render、Fly.io或其他平台
按照特定于平台的说明部署Docker容器或Python应用程序。
许可证
专有软件-保留所有权利
该软件是专有和机密的。严禁未经授权复制、分发、修改、公开展示或公开表演本软件。本软件仅适用于付费订阅模式。
©2024 ReuneMacacada。保留所有权利。
最后提交： v1.1.2 - 修复了 DuckDuckGo 速度限制和 Puppeteer 的问题