🕷️ Decodo网站抓取器
一种模型上下文协议（MCP）服务器，使用Decode-crapping API提供网站抓取功能。此工具允许您从网页上的特定HTML元素中提取文本内容。
✨ 特性
- 🌐 网站抓取：使用Decodeo API抓取任何可公开访问的网站
- 🎯 目标内容提取：从HTML页面提取文本
- 🔌 MCP集成：作为MCP服务器构建，可与AI助手无缝集成
📦 安装
- 从本网站下载Claude Desktop并登录。
https://claude.ai/download- 创建Decodeo帐户并获取您的API密钥：\
在Decodo上申请免费试用：https://visit.decodo.com/aOL4yR
- 克隆此存储库：
git clone https://github.com/abdullahtarek/mcp_webscrapper
cd decodo-webscrapper- 将main.py顶部的API密钥替换为Decodeo API密钥。
- 安装uv和依赖项：
pip install uvuv add "requests"
uv add "beautifulsoup4"- 运行MCP服务器并将其连接到Claude Desktop：
运行此命令
uv run mcp install main.py然后运行此命令
uv run mcp install -e. main.py🚀 用法
安装并连接到Claude Desktop后，您可以通过要求Claude抓取网站来使用抓取器。该工具将使用Decodeo API从指定的HTML元素中提取内容。
⚙️ 需求
- Python 3.8+
- uv包管理器
- 解码API密钥
- 克劳德桌面
🤝 贡献
欢迎投稿！请随时提交拉取请求。
📄 许可证
该项目是开源的，可在 MIT许可证.