- name
- news-hot-scraper
- description
- This skill should be used when users need to scrape hot news topics from Chinese platforms (微博、知乎、B站、抖音、今日头条、腾讯新闻、澎湃新闻), generate summaries, and cite sources. It supports both API-based and direct scraping methods, and offers both extractive and abstractive summarization techniques.
News Hot Scraper
Overview
自动爬取国内热点新闻信息,支持多种平台(微博、知乎、B站、抖音、今日头条、腾讯新闻、澎湃新闻),能够生成新闻摘要并注明出处。提供 API 和直接爬取两种数据获取方式,以及提取式和生成式两种摘要生成方案。
核心功能
1. 新闻数据获取
根据用户输入的主题或关键词,从支持的平台获取热点新闻数据。支持两种方式:
- API 方式: 使用免费的热榜聚合 API(如 uapis.cn)快速获取多平台热点数据
- 直接爬取: 使用 requests + BeautifulSoup 等技术直接从新闻网站爬取数据
2. 新闻摘要生成
对获取的新闻内容进行智能摘要,支持两种技术方案:
- 提取式摘要: 基于关键词和句子重要性提取关键句,快速简洁
- 生成式摘要: 使用 HuggingFace 的中文摘要模型(如
google/mt5-small-chinese),生成更自然的摘要
3. 出处标注
为每条新闻清晰标注:
- 标题
- 来源平台
- 发布时间
- 原文链接
- 摘要内容
使用场景
当用户需要:
- "帮我搜集关于[主题]的国内热点新闻"
- "爬取微博热搜、知乎热榜的今日热点"
- "获取科技领域的最新新闻并生成摘要"
- "监控特定主题的新闻动态"
- "整理多个平台的热点话题"
工作流程
步骤 1: 确定数据源和获取方式
根据用户需求和实际情况选择:
- 快速获取: 优先使用 API 方式(如全网热榜聚合 API)
- 详细内容: 使用直接爬取方式获取更多内容
参考 references/platforms.md 了解各平台的爬取策略和注意事项。
步骤 2: 执行数据获取
使用 scripts/news_scraper.py 脚本进行数据爬取:
# 使用 API 方式获取多平台热点
python scripts/news_scraper.py --mode api --platforms weibo,zhihu --limit 20
# 直接爬取特定平台
python scripts/news_scraper.py --mode scrape --platform weibo --limit 10
# 根据主题爬取新闻
python scripts/news_scraper.py --mode scrape --keyword "人工智能" --platforms weibo,zhihu --limit 15步骤 3: 生成新闻摘要
使用 scripts/news_summarizer.py 脚本生成摘要:
# 提取式摘要(快速)
python scripts/news_summarizer.py --method extractive --input news_data.json --output summary.json
# 生成式摘要(质量更好)
python scripts/news_summarizer.py --method abstractive --input news_data.json --output summary.json参考 references/summarization_methods.md 了解不同摘要方法的原理和适用场景。
步骤 4: 整理和输出
将结果整理成结构化的格式(JSON/Markdown),包含:
- 新闻标题
- 来源平台
- 发布时间
- 摘要内容
- 原文链接
- 热度/排名(如适用)
技术栈
爬虫技术
- requests: HTTP 请求
- BeautifulSoup4: HTML 解析
- newspaper3k: 新闻内容提取(可选)
- API 接口: 全网热榜聚合 API(uapis.cn 等)
摘要生成
- 提取式: jieba(分词)、textrank(句子重要性排序)
- 生成式: transformers + HuggingFace 模型(
google/mt5-small-chinese)
数据处理
- JSON: 数据存储和交换
- Markdown: 报告输出
注意事项
合规性
- 遵守网站的 robots.txt 规则
- 控制请求频率,避免对目标网站造成压力
- 尊重数据的使用条款和版权
反爬虫处理
- 使用合理的请求头(User-Agent)
- 添加适当的延时(建议 1-3 秒)
- 考虑使用代理 IP(如需要大量爬取)
数据质量
- 验证新闻来源的可靠性
- 过滤重复或低质量内容
- 记录数据获取的时间戳
资源
scripts/
- news_scraper.py: 新闻数据爬取脚本,支持 API 和直接爬取两种方式
- news_summarizer.py: 新闻摘要生成脚本,支持提取式和生成式两种方法
references/
- platforms.md: 各平台(微博、知乎、B站等)的爬取策略、API 文档和注意事项
- summarization_methods.md: 摘要生成方法的详细介绍,包括技术原理和实现代码示例
assets/
- (暂无,可根据需要添加模板或示例数据)
常见问题
Q: 优先使用 API 还是直接爬取?
A: 对于快速获取多平台热点,优先使用 API(如全网热榜聚合 API),它们通常已经处理了反爬虫问题。如果需要更详细的内容或特定平台的数据,再使用直接爬取。
Q: 提取式摘要和生成式摘要哪个更好?
A: 提取式摘要速度快,但可能不够连贯;生成式摘要质量更高,但需要更长时间。根据使用场景选择:
- 实时监控/快速浏览: 提取式
- 深度分析/报告生成: 生成式
Q: 如何处理反爬虫限制?
A: 参考 references/platforms.md 中的反爬虫处理建议,包括:
- 使用合理的请求头和延时
- 考虑使用代理 IP
- 遵守 robots.txt 规则
- 优先使用官方 API(如果可用)
扩展建议
未来可以考虑添加:
- 定时任务功能,定期自动爬取热点
- 数据可视化(词云、趋势图)
- 多语言支持
- 情感分析
- 主题聚类分析
依赖安装
基础依赖(必须安装)
pip install requests beautifulsoup4提取式摘要依赖(推荐)
pip install jieba生成式摘要依赖(可选)
pip install transformers torch注意: ClawHub 不会自动安装依赖,用户需要根据上述说明手动安装所需的 Python 包。