mcp常见爬行
用于Common Crawl CDX的MCP服务器——反向链接发现、过期域名查找器、竞争对手差距分析。Ahrefs/Semrush反向链接API的免费替代品（每月100美元以上）。
工具
| 工具 | 说明 |
|---|---|
discover_backlinks | 在3个CC索引中查找指向任何域的反向链接 |
find_expired | 通过CC CDX在利基市场中搜索过期/停放的域名 |
check_domain | 深度单域检查——实时/过期/已停+CC页面计数 |
competitor_gap | 查找链接到竞争对手但不链接到您的域名 |
特性
✅ 生产测试 --生产中使用的图案 GEOLab
安装
# Claude Code
claude mcp add common-crawl -- npx mcp-common-crawl
# Or in .mcp.json
{
"mcpServers": {
"common-crawl": {
"command": "npx",
"args": ["mcp-common-crawl"]
}
}
}不需要API密钥
Common Crawl是一个免费的开放式网络存档。没有API密钥，没有费率限制，没有付费等级。
用法
> find backlinks to thegeolab.net using Common Crawl
> search for expired domains in the "seo tools" niche
> check if example.com is expired or parked
> find link gap between my site and competitors重要说明
- 使用本地
fetch()对于CC CDX（axios在CC CDX上返回404——已知问题） - 查询3个最新的CC索引以获得最佳覆盖率
- 过期域检测：ECONNREFUSED/ENOTFUND=已过期，已停放域的停放页面模式匹配
______________________________________________________________________
归属与许可
电子邮件：artur@thegeolab.net
最佳实践归因
此MCP服务器是按照开源最佳实践方法构建的-- 阅读社区工作以获得灵感，然后写原创内容， 并归功于每一个来源。
基于：
数据来源：
- 通用爬虫 --免费、开放的网络档案（非营利）
- 公共爬网CDX API --索引搜索端点
反向链接分析概念的灵感来自：
技术决策：
- 本土的
fetch()用于CC CDX查询而不是axios（axios从Express内部在CC CDX上返回404——geolab反向链接中记录的持久调试问题）
所有服务器代码都是原创的。没有从任何来源复制或改编文件。MIT许可证。
______________________________________________________________________
觉得这个有用吗？ ⭐ 标记回购并连接： 🌐 thegeolab.net · 𝕏 @TheGEO_Lab · 领英 · 红迪
相关转载
- 克劳德码mcps --一个集合中的所有5台MCP服务器
- mcp seo审核员 --页面SEO审计+JSON-LD验证
- mcp serp英特尔 --SERP弱点、PAA树、意图比较
- mcp常见爬行 --通过Common Crawl免费发现反向链接
- mcp-gsc高级 --GSC蚕食、排名变化
- mcp wordpress设置 --WordPress MCP服务器设置指南
许可证
麻省理工学院——见许可证
______________________________________________________________________