Cs Crawler MCP

CS爬行器MCP

一种模型上下文协议（MCP）服务器，通过crawl4ai库提供网络爬行功能。

特性

• 具有多种输出格式的Web爬行
• 元数据抽取
• MCP集成
• 轻松部署

快速开始

1. 克隆存储库
2. 安装依赖项： pip install -r requirements.txt
3. 安装剧作家： python -m playwright install chromium
4. 配置您的MCP客户端

安装

git clone https://github.com/CoachSteff/cs-crawler-mcp.git
cd cs-crawler-mcp
pip install -r requirements.txt
python -m playwright install chromium

本地配置

此项目使用本地 config.json （被git忽略）并发送a config.json.template.

cp config.json.template config.json
# Edit python_path and server_path to your environment

CI/测试将回落到 config.json.template 用于在以下情况下进行架构检查 config.json 缺席。

用法

添加到您的MCP客户端配置（Claude Desktop、Cursor等）。两种选择：

• NPX（没有Python预安装，在第一次运行时自动引导本地venv）：

{
  "mcpServers": {
    "cs-crawler": {
      "command": "npx",
      "args": ["-y", "github:CoachSteff/cs-crawler-mcp@main"],
      "env": {}
    }
  }
}

• 直接Python入口点（之后 pip install -r requirements.txt):

{
  "mcpServers": {
    "cs-crawler": {
      "command": "python3",
      "args": ["/absolute/path/to/cs-crawler-mcp/server.py"],
      "env": {}
    }
  }
}

可用工具

• crawl_url -抓取单个URL
• get_metadata -提取页面元数据

许可证

MIT许可证-有关详细信息，请参阅许可证文件。