Amazon 数据爬虫技能
技能描述
爬取 Amazon 商品数据，生成结构化报告（Markdown + Excel）。支持商品搜索、数据提取、品牌分析、爆款识别。
适用场景：
- 电商选品调研
- 竞品价格监控
- 爆款商品分析
- 市场趋势研究
安装方法
方法 1：ClawHub 安装（推荐）
# 访问 ClawHub 页面
https://clawhub.ai/zuokun300/amazon-scraper
# 或使用 CLI 安装
clawhub install zuokun300/amazon-scraper方法 2：手动安装
# 1. 克隆技能到 workspace
git clone https://github.com/zuokun300/amazon-scraper.git ~/.openclaw/workspace/skills/amazon-scraper
# 2. 安装依赖
pip3 install openpyxl requests --break-system-packages
# 3. 配置 Apify API Key
export APIFY_API_KEY="apify_api_xxxxx"使用方法
基础用法
对 OpenClaw 说：
帮我爬取 Amazon 上的 "women fashion shoes"，生成 Excel 报告高级用法
帮我爬取 Amazon 上的 "[关键词]"，需要：
- 抓取前 50 个商品
- 提取价格、评分、评论数
- 生成 Excel 和 Markdown 报告
- 分析品牌分布自定义参数
# 修改脚本中的参数
KEYWORDS = ["women fashion shoes", "men sneakers"]
MAX_PRODUCTS = 50
OUTPUT_DIR = "/path/to/output"输出文件
1. Excel 报告 (amazon-data.xlsx)
包含两个 Sheet：
Sheet 1: 商品数据
| 列名 | 说明 |
|---|---|
| 排名 | 搜索排名 |
| 商品名称 | 完整标题 |
| 品牌 | 自动识别的品牌 |
| 类型 | 商品分类 |
| ASIN | Amazon 标准 ID |
| 价格 | 当前价格（需深度爬取） |
| 图片链接 | 可点击的主图链接 |
| Amazon 链接 | 可点击的商品页链接 |
Sheet 2: 统计摘要
- 品牌分布统计
- 价格区间分析
- 爆款识别
2. Markdown 报告 (amazon-report.md)
包含：
- 数据概览
- 爆款商品列表（表格）
- 商品详情链接
配置说明
Apify API Key
获取方法：
- 访问 https://console.apify.com/signup 注册
- 登录后访问 https://console.apify.com/account/integrations
- 复制 API Key
配置方式：
# 方式 1：环境变量
export APIFY_API_KEY="apify_api_xxxxx"
# 方式 2：修改脚本
APIFY_TOKEN = "apify_api_xxxxx"免费额度： $5（约 500-1000 次商品爬取）
依赖项
openpyxl>=3.0.0
requests>=2.28.0示例输出
爆款商品表格
| 排名 | 商品 | 品牌 | 类型 | ASIN |
|---|---|---|---|---|
| 1 | adidas Women's VL Court 3.0 | Adidas | Sneaker | B0C2JY169J |
| 2 | Adokoo Women's Fashion Sneakers | Adokoo | Sneaker | B0CH9FJY8V |
| 3 | Adidas Women's Vl Court 3.0 | Adidas | Sneaker | B0F1XH7M8F |
品牌分布统计
| 品牌 | 商品数量 | 占比 |
|---|---|---|
| Adidas | 7 | 35% |
| ODOLY | 6 | 30% |
| LUCKY STEP | 5 | 25% |
进阶功能
1. 深度爬取（价格/评分/销量）
# 启用深度爬取模式
python3 amazon_scraper.py --deep额外数据：
- 当前价格
- 用户评分（1-5 星）
- 评论总数
- 销量排名（BSR）
- 高清商品图片
2. 定时监控
# 配置 cron 每天执行
0 3 * * * python3 /path/to/amazon_scraper.py用途：
- 价格变化监控
- 新品上架提醒
- 竞品动态追踪
3. 多关键词批量爬取
KEYWORDS = [
"women fashion shoes",
"men sneakers",
"kids boots",
"running shoes"
]注意事项
1. API 成本
- Apify 免费额度：$5/月
- 单次爬取成本：约 $0.002/商品
- 建议：合理控制爬取数量
2. 反爬措施
- Amazon 反爬严格，建议使用 Apify 等专业服务
- 不要高频爬取同一关键词
- 遵守 Amazon 服务条款
3. 数据准确性
- 价格可能实时变化
- 销量为估算值（基于评论数推算）
- 建议定期更新数据
常见问题
Q: 为什么有些商品价格显示"待爬取"？
A: 基础模式只抓取搜索页数据，价格需要访问商品详情页。使用 --deep 参数启用深度爬取。
Q: Apify 运行失败怎么办？
A: 检查：
- API Key 是否正确
- 网络连接是否正常
- Apify 账户是否有余额
Q: 如何自定义输出格式？
A: 修改 generate_excel() 和 generate_report() 函数，调整列名和样式。
更新日志
v1.0.0 (2026-03-03)
- ✅ 基础爬取功能
- ✅ Excel + Markdown 报告生成
- ✅ 品牌分布统计
- ✅ 可点击链接
TODO
- [ ] 深度爬取（价格/评分/销量）
- [ ] 图片下载功能
- [ ] 多语言支持
- [ ] 定时监控告警
作者与许可
- 作者: Elden (@zuokun300)
- 许可: MIT License
- 问题反馈: https://github.com/zuokun300/amazon-scraper/issues
相关技能
- web-scraping-router - 爬虫工具路由技能
- apify-scraper - Apify 工业级爬虫模板
- price-monitor - 价格监控哨兵
*最后更新：2026-03-03*