蜘蛛云mcp
MCP服务器 蜘蛛 网站抓取和抓取API。为AI代理、RAG管道和LLM抓取、抓取、搜索和提取web数据。
设置
1.获取API密钥
2.配置您的MCP客户端
克劳德桌面
添加到您的 claude_desktop_config.json:
{
"mcpServers": {
"spider": {
"command": "npx",
"args": ["-y", "spider-cloud-mcp"],
"env": {
"SPIDER_API_KEY": "your-api-key"
}
}
}
}克劳德代码
claude mcp add spider -- npx -y spider-cloud-mcp然后在环境中设置API密钥或 .env 文件：
SPIDER_API_KEY=your-api-key光标
添加到光标MCP设置中：
{
"mcpServers": {
"spider": {
"command": "npx",
"args": ["-y", "spider-cloud-mcp"],
"env": {
"SPIDER_API_KEY": "your-api-key"
}
}
}
}工具
核心工具
| 工具 | 说明 |
|---|---|
spider_crawl | 抓取网站并从多个页面中提取内容 |
spider_scrape | 抓取单个页面（不爬行） |
spider_search | 使用可选的页面内容获取功能搜索网络 |
spider_links | 从页面中提取所有链接 |
spider_screenshot | 捕获页面截图 |
spider_unblocker | 通过反机器人绕过访问受机器人保护的内容 |
spider_transform | 将HTML转换为markdown/text/其他格式 |
spider_get_credits | 检查您的信用余额 |
AI工具（需要订阅）
这些工具需要主动 AI订阅计划.
| 工具 | 说明 |
|---|---|
spider_ai_crawl | 人工智能引导的爬行，带有自然语言提示 |
spider_ai_scrape | 使用简明英语提取结构化数据 |
spider_ai_search | 人工智能增强的语义网络搜索 |
spider_ai_browser | 使用自然语言自动化浏览器交互 |
spider_ai_links | 智能链路提取和过滤 |
例子
抓取网站以降价
Use spider_crawl to crawl https://example.com with limit 10 and return_format "markdown"搜索网页
Use spider_search to search for "latest AI research papers" with fetch_page_content true and num 5人工智能驱动的提取
Use spider_ai_scrape on https://news.ycombinator.com with prompt "Extract all article titles, URLs, points, and comment counts as structured JSON"检查积分
Use spider_get_credits to check my balanceAPI 参考
API完整文档： spider.cloud/docs/api
许可证
麻省理工学院