Docs Fetch MCP Server

文档提取MCP服务器

一种模型上下文协议（MCP）服务器，用于获取具有递归探索功能的web内容。此服务器使LLM能够自主浏览网页和文档，以了解特定主题。

概述

Docs Fetch MCP Server为LLM提供了一种简单但强大的方法来检索和探索web内容。它能够：

• 从任何网页获取干净、可读的内容
• 对链接页面进行递归探索，直至达到指定深度
• 同域链接遍历以收集全面信息
• 智能过滤导航链接，专注于内容丰富的页面

当用户希望法学硕士通过浏览文档或网络内容来了解特定主题时，此工具特别有用。

特性

• 内容提取：从网页中清晰地提取主要内容，消除导航、广告和无关元素等干扰
• 链接分析：识别并提取页面中的链接，评估其相关性
• 递归探索：跟踪同一域内相关内容的链接，深度不超过指定深度
• 并行处理：通过并发请求和适当的错误处理有效地抓取内容
• 稳健的错误处理：优雅地处理网络问题、超时和格式错误的页面
• 双重战略方法：首先使用快速axios请求和puppeteer作为更复杂页面的回退
• 防止超时：实施全局超时处理，以确保在MCP时间限制内可靠运行
• 部分结果：即使某些页面无法完全加载，也会返回可用内容

用法

服务器公开了一个MCP工具：

fetch_doc_content

获取网页内容，并能够探索链接页面至指定深度。

参数：

• url （string，必填）：要获取的网页的URL
• depth （数字，可选，默认值：1）：目录/链接探索的最大深度（1-5）

退货：

{
  "rootUrl": "https://example.com/docs",
  "explorationDepth": 2,
  "pagesExplored": 5,
  "content": [
    {
      "url": "https://example.com/docs",
      "title": "Documentation",
      "content": "Main page content...",
      "links": [
        {
          "url": "https://example.com/docs/topic1",
          "text": "Topic 1"
        },
        ...
      ]
    },
    ...
  ]
}

安装

1. 克隆此存储库：

git clone https://github.com/wolfyy970/docs-fetch-mcp.git
cd docs-fetch-mcp

1. 安装依赖项：

npm install

1. 构建项目：

npm run build

1. 在Claude客户端中配置MCP设置：

{
  "mcpServers": {
    "docs-fetch": {
      "command": "node",
      "args": [
        "/path/to/docs-fetch-mcp/build/index.js"
      ],
      "env": {
        "MCP_TRANSPORT": "pipe"
      }
    }
  }
}

依赖项

• @modelcontextprotocol/sdk：MCP服务器SDK
• puppeteer：用于网页交互的无头浏览器
• axios：用于发出请求的HTTP客户端

发展

要在开发模式下运行服务器，请执行以下操作：

npm run dev

许可证

麻省理工学院