CNBLOGS 精华内容抓取技能
功能描述
抓取博客园（cnblogs.com）精华区内容，支持分页、批量下载标题和正文。
使用方法
基本用法
# 抓取第 1 页，保存所有文章到指定目录
openclaw cnblogs-pick --page 1 --output-dir /path/to/output
# 抓取前 3 页，保存所有文章
openclaw cnblogs-pick --pages 3 --output-dir /path/to/output
# 抓取指定 URL 的精华列表
openclaw cnblogs-pick --url https://www.cnblogs.com/pick/ --pages 2参数说明
| 参数 | 类型 | 必填 | 默认值 | 说明 |
|---|---|---|---|---|
--url | string | 否 | https://www.cnblogs.com/pick/ | 精华列表页 URL |
--page | int | 否 | 1 | 单页抓取页数（仅当 --pages 未指定时有效） |
--pages | int | 否 | 1 | 总页数（优先于 --page） |
--output-dir | string | 否 | ~/.openclaw/workspace/user_cnglobs/ | 输出目录 |
--agent | string | 否 | Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:149.0) Gecko/20100101 Firefox/149.0 | User-Agent |
输出格式
每篇文章保存为独立文件，命名格式：
{标题}.txt标题中的特殊字符会被替换为下划线。
工作流程
- 获取列表页：使用 curl 下载指定页数的精华列表
- 提取链接：解析 HTML，提取所有
post-item-title类链接 - 下载详情：逐个打开详情页面
- 提取正文：获取
cnblogs_post_body内容并去除 HTML 标签 - 保存文件：按标题命名保存到输出目录
示例
# 抓取前 5 页精华内容
openclaw cnblogs-pick --pages 5 --output-dir /tmp/cnb-pick
# 查看结果
ls -lh /tmp/cnb-pick/依赖工具
curl- HTTP 请求grep -oP- Perl 正则表达式sed- 文本处理
注意事项
- 部分文章可能因反爬机制失败
- 大页面可能超出 token 限制
- 建议先测试单页再批量处理
更新日志
- v1.0.0: 初始版本，支持单页抓取
- v1.1.0: 支持多页批量抓取
- v1.2.0: 优化错误处理和日志输出