Token导航 LogoToken导航TokenDH.com
待分类需要联网github未标认证来源可访问许可证需确认审计提醒

scrapling-article-fetch抓取文章获取

Agent Skill

scrapling-article-fetch 用于处理浏览器自动化、网页检查和页面信息提取,适合在 Codex、Claude、Cursor、Gemini CLI 中需要让 Agent 打开页面、读取网页或验证前端流程时使用。可结合来源仓库、安装命令和原始 README 继续核验具体用法。安装前建议确认权限范围、维护状态,以及是否会触发联网、命令执行或文件读写。

总安装

349

周安装

14

GitHub Stars

22

下载量

113
CodexClaudeCursorGemini CLI

安装说明

本站只整理中文说明和来源信息,不托管安装包,也不代用户安装。

GitHub

来源数

2

许可证

unknown

最后核验

2026-05-01

来源状态

来源可访问

安装方式

通过对话安装

复制提示词发给支持本地命令或 Skills 的 AI 助手,先确认命令和权限,再让它执行。

请帮我安装这个 Agent Skill:scrapling-article-fetch(抓取文章获取)
来源仓库:https://github.com/maolai7/agent-skills
仓库路径:skills/scrapling-article-fetch
安装命令:
npx skills add https://github.com/maolai7/agent-skills --skill scrapling-article-fetch
安装前请先检查当前环境是否支持对应 CLI,并向我确认将要执行的命令、安装目录、联网范围和文件读写权限;确认后再执行。

命令行安装

复制命令到本机终端执行。该命令会通过 npx skills 从第三方来源获取 Skill;本站只展示命令,不托管安装包,也不自动执行。

skills.shnpx skills
npx skills add https://github.com/maolai7/agent-skills --skill scrapling-article-fetch

简介

scrapling-article-fetch 用于处理浏览器自动化、网页检查和页面信息提取。

  • 适合在 Codex、Claude、Cursor、Gemini CLI 中打开页面、读取内容或验证前端流程。
  • 通过 npx skills add 命令从指定仓库安装并使用。
  • 建议确认权限范围和维护状态,避免触发不必要的联网或文件操作。
  • 具体用法请参考原始 README 和项目文档。

SKILL.md

将文章正文抓取为 Markdown,并按需要写入飞书文档供用户验收。

前提条件

  1. Python 3.10+。
  2. 运行环境满足以下其一:

- 推荐:已安装 uv - 备选:可用的 venv + pip

  1. 机器可访问目标 URL。
  2. 如需写飞书文档,默认直接使用 skill 内脚本按“当前 agent 身份”直连 Feishu OpenAPI;不要手动传 app_id / app_secret

环境检查(必须先做)

在真正抓取前,先检查当前环境是否具备 Python。不要假设系统一定有 python 别名;统一先跑 wrapper:

bash ~/.openclaw/skills/scrapling-article-fetch/scripts/run_pipeline.sh

这个 wrapper 会优先选 python3,其次 python,避免再次出现“环境有 Python,但入口命令写死导致误判”的问题。

执行规则:

  • python_ok=true:继续执行抓取。
  • 若没有 Python 或版本低于 3.10:先提醒用户安装,或在征得用户同意后再帮装;不要直接跳过检查硬跑。
  • 若没有 uv 但有可用 Python:可以继续,只是改用 venv + pip 方案。

执行命令(抓取)

在受管控 Python 环境中,优先使用 uv

uv run --with 'scrapling[fetchers]' --with html2text python ~/.openclaw/skills/scrapling-article-fetch/scripts/scrapling_fetch.py <url> [max_chars]

默认 max_chars=30000

执行方式(Markdown → 飞书文档)

当需要把抓取结果写入飞书文档时,默认仍使用 md_to_feishu_doc.py,但不要让模型自由手写标题字符串

推荐调用方式:

python3 ~/.openclaw/skills/scrapling-article-fetch/scripts/md_to_feishu_doc.py <article_json_or_title> <src_url> <markdown_file> [doc_id] [user_open_id]

说明:

  • 第 1 个参数既可以传标题字符串,也可以直接传 scrapling_fetch.py --json 产出的 .json 文件路径。
  • 飞书场景默认应传 .json 文件路径,让写文档脚本直接读取其中的 title 字段;不要让模型自己概括标题。
  • 如果传入的是普通标题字符串,但它明显像正文第一句/小标题,脚本会自动降级,从 Markdown 中再取标题,减少新 agent 传错标题的概率。
  • user_open_id 建议传当前用户 open_id,脚本会自动补编辑权限。
  • doc_id 可选;传入时表示覆盖更新已有文档,不传则新建文档。
  • 飞书写入脚本只负责把上游已经产出的 Markdown稳定写入文档;不要在写入阶段再自行抓原网页补封面,封面缺失要回到上游抓取脚本修。

抓取规则

脚本必须按以下逻辑执行:

  1. 使用 Fetcher.get() 拉取页面 HTML。
  2. 如果域名是微信公众号(mp.weixin.qq.com),优先尝试:

- #js_content - .rich_media_content - .rich_media_area_primary

  1. 再尝试通用选择器:

- article - main - .post-content - [class*="body"]

  1. html2text 转为 Markdown。
  2. 默认保留链接和图片。
  3. 清理常见微信尾部噪音(扫码提示、授权弹窗等文案)。
  4. max_chars 截断。
  5. 若未命中正文容器,回退为整页 HTML 转换结果。

默认交付流程(必须执行)

当用户让你抓取公众号/文章时,默认执行以下流程,不需要额外确认:

  1. 先检查运行环境:

- 是否有 Python 3.10+ - 是否可用 uvvenv + pip - 如果没有 Python,不要假设用户环境已具备;应先提醒用户安装,或在征得用户同意后再帮装。

  1. 运行抓取脚本,得到 Markdown 和 JSON。
  2. 判断当前聊天渠道:

- 如果当前在飞书,默认调用 md_to_feishu_doc.py,并把抓取生成的 .json 文件路径作为第 1 个参数传入,按当前 agent 身份创建并写入飞书文档 - 调用时传当前用户 open_id,确保用户自动拿到编辑权限 - 不要让模型自己拼标题参数 - 如果不在飞书,为保证用户体验,直接把抓取结果以 Markdown 代码块形式回复给用户,而不是返回飞书链接

非飞书场景回复模板

当当前渠道不是飞书时,直接使用脚本生成代码块回复:

python3 ~/.openclaw/skills/scrapling-article-fetch/scripts/render_markdown_reply.py <title> <url> <markdown_file>

如果当前机器没有 python3 但有 python,则改用 python。实际执行时优先复用前面 wrapper 已选出的解释器,不要手写死。

输出格式固定为:

<文章标题>

原文链接:<url>

<完整 Markdown 正文>

不要再额外创建飞书文档,也不要只回一个链接。

  1. 将完整抓取结果交付给用户,至少包含:

- 原文链接 - 标题 - 完整正文(含图片)

仅当用户明确说“不要写飞书文档”时,才只返回文本。

备注

  • 如果页面高度依赖 JS 导致抓取为空,后续可切换 DynamicFetcher 变体。
  • 输出格式保持稳定,便于与原文逐段对照验收。
  • 默认写飞书文档时,由脚本自动解析当前 agent 对应的飞书账号并直连 Feishu OpenAPI;不要手动传凭证。

适合场景

01

用户想查找某类 Agent Skill 时

02

需要根据任务场景推荐可安装能力包时

03

需要对比不同来源的安装命令和来源信息时

能力概览

能力 1

按任务关键词查找相关 Skills

能力 2

展示可复制的安装命令

能力 3

保留来源站点、仓库和原始说明,方便继续核验

能力 4

展示第三方安全扫描或审计结果

安装后应在对应宿主中按原始 README 的触发条件使用;具体调用方式请以来源页面和 README 为准。

平台分布

Codex

39.13%
按下载量换算44

Claude

27.1%
按下载量换算31

Cursor

19.82%
按下载量换算22

Gemini CLI

10.21%
按下载量换算12

安全审计

Gen Agent Trust Hub

通过

Socket

通过

Snyk

可疑

权限和风险

需要联网

该 Skill 可能需要联网访问来源站点、仓库或外部 API;具体网络访问范围需要结合源码和 README 复核。

安装前确认

本站仅展示第三方公开信息,不托管安装包,不提供自动安装或运行环境。安装前应自行审查源码、依赖和命令行为。来源安全扫描存在 warning/failed 结果,不能写成本站确认安全。当前只有一个来源,正式发布前建议补源仓库或其他目录站核验。

来源信息

继续浏览同类 Skills