douyin-fetcher（抖音抓取器）

Douyin Fetcher - 视频下载

**

快速开始

输入抖音链接 → 获取视频ID → 浏览器提取视频 URL → 下载（可能需合并）

Step 1: 解析链接

curl.exe -sL -o NUL -w "%{url_effective}" "https://v.douyin.com/xxx/"
# 输出: https://www.douyin.com/video/7612345678901234567

提取视频ID：7612345678901234567

Step 2: 打开浏览器

browser(action='open', profile='openclaw', url='https://www.douyin.com/video/{视频ID}')

等待 10-15 秒让页面加载完成。

Step 3: 提取视频 URL

3.1 调用方式

⚠️ act 操作必须用 request 嵌套格式，直接传 fn 会报错 request required：

browser(action='act', targetId='页面ID', request={"kind": "evaluate", "fn": "JS代码"})

❌ 错误写法：browser(action='act', targetId='...', fn='JS代码') ✅ 正确写法：browser(action='act', targetId='...', request={"kind": "evaluate", "fn": "JS代码"})

3.2 提取 JS 代码

(() => {
    const entries = performance.getEntriesByType('resource');
    const videoEntries = entries.filter(e => {
        const name = e.name.toLowerCase();
        return name.includes('douyinvod') && 
               (name.includes('media-video') || name.includes('media-audio') || name.includes('video_mp4'));
    });
    return videoEntries.map(e => e.name);
})()

3.3 返回结果判断

情况A：DASH 分离流（常见）

[
  "https://v26-web.douyinvod.com/.../media-video-hvc1/...",
  "https://v26-web.douyinvod.com/.../media-audio-und-mp4a/..."
]

• 需要分别下载视频流和音频流，然后合并
• media-video → 视频流（无音频）
• media-audio → 音频流

情况B：完整 MP4（部分视频）

[
  "https://v26-web.douyinvod.com/.../?mime_type=video_mp4&..."
]

• 直接是完整视频，无需合并
• 下载后直接可用

Step 4: 下载

情况A：分离流

# 下载视频流
curl.exe -L -H "Referer: https://www.douyin.com/" -o "/path/to/temp/douyin\video.mp4" "<视频流URL>"

# 下载音频流
curl.exe -L -H "Referer: https://www.douyin.com/" -o "/path/to/temp/douyin\audio.mp4" "<音频流URL>"

情况B：完整 MP4

curl.exe -L -H "Referer: https://www.douyin.com/" -o "/path/to/temp/douyin\video.mp4" "<完整URL>"

Step 5: 合并（仅保存完整视频时需要）

⚠️ 教训：DASH 分离流下载后已有独立的音频文件 audio.mp4，转录时直接传给 Whisper ASR 服务即可。合并只用于最终保存完整视频。

# 转录用：直接传给 Whisper ASR（无需处理）
curl.exe -X POST "http://localhost:PORT/asr" -F "audio_file=@/path/to/temp/douyin\audio.mp4"

# 保存用：需要完整视频时用 ffmpeg 合并
ffmpeg -i "/path/to/temp/douyin\video.mp4" -i "/path/to/temp/douyin\audio.mp4" -c:v copy -c:a aac "/path/to/temp/douyin\merged.mp4" -y

输出

常见问题

排查流程

提取 URL 失败时：

1. 确认页面已加载

   browser(action='snapshot', targetId='页面ID')

检查是否有视频播放器元素

1. 扩大搜索范围

   // 查看所有 douyinvod 相关资源
   entries.filter(e => e.name.includes('douyinvod')).map(e => e.name)

1. 检查视频时长

- 长视频（>2分钟）可能需要更长时间加载

前置条件

• curl 已安装
• ffmpeg 已安装（用于视频合并）
• 浏览器可用（openclaw profile）

已知限制

1. 视频 URL 有时效性 — 获取后立即下载，不要拖延
2. 需要浏览器 — openclaw profile 必须可用
3. 图文笔记 — 链接格式为 /note/，不适用此模块
4. 部分视频无分离流 — 直接是完整 MP4，无需合并

文件流转

临时目录

所有中间文件存放在 /path/to/temp/douyin\：

最终位置

清理规则

转录完成后：

1. 删除 audio.wav（转录中间产物）
2. 保留或删除 video.mp4/audio.mp4/merged.mp4（根据用户需求）
3. 如保存视频 → 移动到 /path/to/videos\ 后删除临时副本

浏览器处理

下载完成后关闭浏览器：

browser(action='stop')

释放资源，避免占用内存。

备用脚本

scripts/ 目录下有历史脚本，当前流程不再使用，保留备用：

相关模块

• douyin-transcriber：转录模块，用 Whisper 将视频转为文字
• douyin-analyzer：分析模块，提取要点生成总结
• orchestrator：编排模块，协调整个流程