🚀 30+款热门AI模型一站整合，DeepSeek/GLM/Claude 随心用，限时 5 折。 👉 点击领海量免费额度

如果你还在用传统剪辑软件，一帧一帧地剪掉“嗯…啊…”的停顿，手动对齐字幕，反复渲染预览，那么你很可能已经陷入了“剪辑苦力”的困境。视频剪辑，尤其是口播、教程、访谈这类内容，其核心是“信息”的提炼和重组，而不是像素的排列。我们真正需要的是一个能理解内容、识别冗余、并自动执行专业剪辑规则的“智能剪辑师”，而不是一个需要你记住无数快捷键的复杂工具。

这就是browser-use/video-use项目正在解决的问题。它不是一个新软件，而是一个全新的工作流：让 AI 编程助手（如 Claude Code）成为你的视频剪辑师。你只需要把原始素材扔进一个文件夹，然后像和同事沟通一样，用自然语言告诉它你的剪辑意图，它就能生成一个符合专业制作标准的成片。听起来像魔法？其背后是一套极其务实且巧妙的技术设计：让 LLM “阅读”视频，而不是“观看”视频。它通过高精度的音频转录文本和按需生成的视觉快照来理解内容，从而绕过了直接处理海量视频帧的算力黑洞。

这篇文章将为你彻底拆解video-use。我们不仅会告诉你它是什么，更重要的是，我们会深入分析它为什么能工作、它解决了传统流程中哪些真正的痛点、它适合谁、以及在实际使用中你会遇到哪些“坑”。你将看到从环境搭建、核心原理剖析、到完整实战示例的全过程。无论你是想提升内容创作效率的开发者，还是对 AI 赋能创意工作流感兴趣的技术爱好者，这篇文章都将为你提供一个清晰、可落地的技术全景图。

1. 这篇文章真正要解决的问题：告别“剪辑苦力”，拥抱“导演思维”

在深入代码之前，我们必须先厘清video-use瞄准的核心痛点。传统视频剪辑，无论是用 Premiere、Final Cut 还是 DaVinci Resolve，其工作流本质上是“手工艺”式的。剪辑师需要：

1. 观看所有素材：耗时极长，且需要高度集中注意力。
2. 手动标记和切割：寻找合适的入出点，删除口癖、废片，过程繁琐。
3. 处理多轨道对齐：音频、视频、字幕、图形需要精确同步。
4. 执行重复性美化工作：如统一调色、添加转场、压制字幕。
5. 反复渲染和检查：任何修改都可能需要重新渲染整个时间线，反馈循环很慢。

这个过程里，真正体现创造力和导演思维的决策（剪什么、留什么、如何叙事）只占很小一部分，大量时间被机械性操作占据。video-use的目标，就是通过 AI 代理（Agent）自动化所有机械性、规则明确的部分，让你专注于创意和决策。

它特别适合以下几类场景：

• 知识类博主/讲师：录制课程、技术分享，需要去除思考停顿和口误。
• 产品经理/开发者：制作产品演示、更新日志视频，需要快速从录屏生成精剪版。
• 自媒体创作者：处理访谈、对话播客，需要精简内容并添加字幕。
• 任何需要频繁产出结构化视频内容的团队：希望建立一种可重复、可编程的视频处理流水线。

它的关键判断是：视频编辑的“智能”不应该体现在识别物体或生成特效上，而应该体现在理解语言节奏和叙事逻辑上。因此，它的技术栈选择完全服务于这个判断——基于文本转录工作，只在必要时“瞥一眼”画面。这不仅是效率的提升，更是工作范式的转变：你从“操作员”变成了“审核员”和“创意指导”。

2. 核心概念与工作原理：LLM如何“阅读”视频

video-use的核心创新点在于其处理视频的范式。它拒绝让 LLM 去“看”视频（那会消耗天量的 Token 和成本），而是让它“读”视频。这套机制分为两层，构成了项目最精妙的设计。

2.1 核心架构：两层理解模型

第一层：音频转录文本（核心数据源）这是 LLM 理解视频内容的“主战场”。video-use使用ElevenLabs 的 Scribe API对每个视频源进行语音识别。得到的不是大段的文本，而是包含以下关键信息的结构化数据：

• 逐字时间戳：每个单词的精确开始和结束时间。
• 说话人分离：区分不同讲话者（S0, S1）。
• 非语音事件标记：如(笑声)、(掌声)、(叹息)。
• 填充词检测：自动识别“um”、“ah”、“呃”等。

所有这些信息被压缩并整理成一个名为takes_packed.md的纯文本文件，大小通常在 12KB 左右。这个文件就是 LLM 进行剪辑决策的“剧本”。例如：

## C0103 (时长: 43.0秒, 8个短语) [002.52-005.36] S0 一个网页代理百分之九十的行为都是完全浪费的。 [006.08-006.74] S0 我们修复了这个问题。

LLM 通过阅读这个“剧本”，就能知道在什么时候、谁说了什么、中间是否有停顿或笑声。它基于文本逻辑来决定哪里该剪（删除冗余），哪里该留（保留核心观点）。

第二层：按需视觉合成（辅助校验层）纯文本有时会有歧义。比如，一段沉默是演讲者思考的停顿（应保留），还是技术故障导致的死寂（应删除）？这时就需要画面信息。video-use提供了一个timeline_view功能，它能在需要时，针对某个特定时间范围，生成一张合成图片，包含：

• 关键帧胶片条：从该时间段抽取的几个关键画面。
• 音频波形图：直观显示音量大小和静音区间。
• 文本标签：对应时间轴上的转录文本。

这张 PNG 图片是 LLM 的“视觉快照”，只在决策点生成，用于解决文本无法确定的歧义。这避免了为每秒30帧的视频流进行海量图像识别。

2.2 工作流水线：从素材到成片

整个video-use的流程是一个高度自动化的管道（Pipeline），如下图所示：

转录 (Transcribe) -> 打包 (Pack) -> LLM 推理 (LLM Reasons) -> 生成编辑决策列表 (EDL) -> 渲染 (Render) -> 自我评估 (Self-Eval) ↑ └── 发现问题？ -> 修复并重新渲染（最多3次）

1. 转录与打包：将原始视频转为结构化的takes_packed.md。
2. LLM 推理与确认：你给出指令（如“把这些剪成一个发布视频”），LLM 阅读“剧本”，制定剪辑策略（如“去掉所有填充词，将A和B的对话交叉剪辑”），并等待你的确认。这步保证了控制权在你手中。
3. 生成与渲染：LLM 生成一个编辑决策列表（Edit Decision List, EDL），这是一个包含时间码、源文件、转换效果的文本文件。然后调用ffmpeg等工具进行实际渲染。
4. 自我评估与修正：这是关键一步。渲染完成后，video-use不会直接给你结果。它会在每个剪辑点自动调用timeline_view检查成片，寻找视觉跳跃、音频爆音、字幕错误等问题。如果发现问题，它会尝试自动修复并重新渲染，最多循环3次。只有通过检查的视频才会呈现给你。

这个“提议-确认-执行-检查”的闭环，确保了自动化过程的可靠性和输出质量，避免了AI“胡编乱造”视频。

3. 环境准备与安装指南

理解了原理，我们开始动手搭建。video-use是一个 Python 项目，它更像一个“技能包”（Skill），需要安装到一个 AI 编程代理（Agent）环境中才能工作。最常见的搭配是Claude Code（Claude 的代码解释器环境）。

3.1 前置条件

在开始前，请确保你的系统满足以下条件：

1. 操作系统：macOS 或 Linux 是首选。Windows 可以通过 WSL2 获得最佳体验。
2. Python 环境：推荐使用uv或pip进行包管理。项目建议uv，因为它更快且能创建隔离环境。
3. FFmpeg：视频处理的核心工具，必须安装。
4. ElevenLabs API 密钥：用于高精度音频转录。你需要在其官网注册并获取一个 API Key（有免费额度）。
5. 一个 AI 编程代理：这是核心。你需要能运行 Claude Code、Codex、Hermes 或 Openclaw 等具有 Shell 访问权限的 AI 代理环境。本文以 Claude Code（在 Claude Desktop 应用中）为例。

3.2 两种安装方式

方式一：推荐方式——让 AI 代理自动安装（最符合项目理念）

这是最优雅的方式。你只需要在 Claude Code 的会话中，粘贴以下指令：

请为我设置 https://github.com/browser-use/video-use。 首先阅读 install.md 来安装这个仓库，配置 ffmpeg，将 skill 注册到你当前运行的代理下，并设置 ElevenLabs API 密钥——需要时请向我索取。然后阅读 SKILL.md 了解日常用法，并且一定要阅读 helpers/ 目录，因为那里存放着编辑脚本。安装完成后，不要自行转录任何内容——只需告诉我准备就绪，然后等我向文件夹中放入素材。

你的 AI 代理（如 Claude Code）会自动执行以下步骤：

• 克隆仓库。
• 安装 Python 依赖（uv sync）。
• 检查并指导你安装ffmpeg和yt-dlp（可选，用于下载网络视频源）。
• 在正确的技能目录（如~/.claude/skills/）创建符号链接。
• 提示你输入ELEVENLABS_API_KEY并配置到.env文件。

方式二：手动安装（用于理解或调试）

如果你想更清晰地了解背后发生了什么，可以手动执行：

# 1. 克隆仓库并链接到技能目录 git clone https://github.com/browser-use/video-use ~/Developer/video-use # 为 Claude Code 创建技能链接（根据你的代理调整路径） ln -sfn ~/Developer/video-use ~/.claude/skills/video-use # 2. 进入目录并安装依赖 cd ~/Developer/video-use uv sync # 或使用 pip install -e . # 3. 安装必需的系统工具 # 在 macOS 上： brew install ffmpeg brew install yt-dlp # 可选 # 在 Ubuntu/Debian 上： # sudo apt update && sudo apt install ffmpeg python3-yt-dlp # 4. 配置 ElevenLabs API 密钥 cp .env.example .env # 使用你喜欢的编辑器编辑 .env 文件，填入你的 API 密钥 # ELEVENLABS_API_KEY=sk_xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

3.3 验证安装

安装完成后，启动你的 Claude Code 代理。你可以通过一个简单命令测试技能是否被加载：

# 在 Claude Code 会话中，尝试列出技能或直接询问 ls ~/.claude/skills/ | grep video-use # 或者直接问 Claude：“你有哪些可用的技能？”

如果一切正常，Claude 应该能意识到video-use技能的存在，并准备好接收你的视频剪辑指令。

4. 核心工作流实战：从原始素材到精剪视频

现在，让我们通过一个完整的例子，看看如何与video-use协作。假设你有一个文件夹~/Videos/my_project/，里面存放着几个未经剪辑的录屏和口播片段。

4.1 第一步：准备与启动

1. 放置素材：将所有原始视频文件（如.mp4,.mov文件）放入~/Videos/my_project/。video-use会处理该文件夹内的所有视频文件。
2. 启动代理并导航：在终端中，启动你的 Claude Code 会话，并切换到素材目录。

cd ~/Videos/my_project/ claude # 这会启动 Claude Code 会话

4.2 第二步：发出剪辑指令

在 Claude Code 的聊天界面中，你不需要记忆任何复杂命令。只需用自然语言描述你的需求。例如：

帮我把这些素材剪辑成一个3分钟的产品功能演示视频，节奏要快，去掉所有“嗯”、“啊”之类的停顿，加上风格鲜明的字幕。

或者更简单：

将这些剪辑成一个发布视频。

这时，video-use技能会被触发。Claude 会代表你执行以下操作：

• 清点素材：列出文件夹内所有视频文件及其时长。
• 调用转录：使用你的 ElevenLabs API 密钥，将每个视频转录成带时间戳的文本（首次运行需要一些时间）。
• 生成策略：阅读转录文本后，Claude 会生成一个剪辑策略报告，可能包括：
  • 建议保留的核心片段。
  • 识别出的冗余部分（填充词、长停顿）。
  • 初步的叙事顺序。
  • 字幕和调色风格建议。
• 等待确认：Claude 会将这个策略呈现给你，并询问“是否按此计划执行？”。

这是关键的人机交互点。你可以审核这个策略，提出修改意见，比如“把第二点和第三点顺序对调”，或者“保留那个笑点”。确认后，Claude 才会继续。

4.3 第三步：自动化执行与输出

一旦你确认，剩下的过程完全自动化：

1. 生成 EDL：Claude 根据策略，生成详细的编辑决策列表。
2. 调用 FFmpeg 渲染：根据 EDL，拼接视频片段，应用统一的调色滤镜（如“温暖电影感”），在每一个剪辑点添加30毫秒的音频淡入淡出以避免爆音，并烧制字幕（默认是两词一组的全大写样式，可在技能中配置）。
3. 自我评估循环：渲染出edit/final.mp4的初稿后，video-use会在内部对其每个剪辑点进行timeline_view检查。如果发现跳帧、音画不同步等问题，它会尝试调整 EDL 并重新渲染，最多3次。
4. 交付成果：所有处理完成的文件都输出在~/Videos/my_project/edit/目录下，与你的原始素材分离，保持工作区整洁。你会得到最终的final.mp4，以及可能用到的中间文件（如转录文本takes_packed.md）。

整个过程中，你无需打开任何剪辑软件界面，也无需手动操作时间线。你的角色是“创意总监”，AI 代理是“执行剪辑师”。

5. 高级功能与配置详解

video-use的强大之处在于其可定制性。它不仅仅是一个自动剪辑工具，更是一个可编程的视频处理框架。

5.1 技能配置与规则

项目的核心行为由SKILL.md文件和helpers/目录下的 Python 脚本定义。理解它们，你就能定制自己的剪辑风格。

• SKILL.md：定义了 AI 代理在剪辑时必须遵守的12条硬性规则。这些规则确保了技术上的正确性，例如：

  • 规则1：剪辑必须发生在静音或词语边界，不能从词中间切断。
  • 规则2：每个剪辑点必须有30ms的音频交叉淡化。
  • 规则3：字幕不能遮挡重要画面内容。
  • …… 这些规则是“非协商”的，保证了输出视频的基本质量。在此之外，AI 拥有完全的“艺术创作”自由。

• helpers/目录：这里是所有实际干活脚本的所在地。例如：

  • transcribe.py: 调用 ElevenLabs API 进行转录。
  • pack_takes.py: 将转录结果打包成takes_packed.md。
  • timeline_view.py: 生成视觉快照 PNG。
  • make_edl.py: 将 LLM 的文本决策转化为 EDL 文件。
  • render.py: 调用 FFmpeg 执行渲染。 你可以阅读并修改这些脚本，来实现自定义的转场特效、字幕样式或调色预设。

5.2 自定义字幕与动画

字幕和动画是提升视频专业度的关键。video-use支持通过子代理（Sub-agent）并行生成动画叠加层。

• 字幕样式：默认字幕是两词一组、全大写。你可以在给 AI 的指令中指定，例如：“使用单行、底部居中、白色黑边的字幕样式”。这需要你事先在helpers/render.py中定义好对应的 FFmpeg 字幕过滤器（drawtext）参数。
• 动画叠加：video-use可以集成HyperFrames、Remotion、Manim（数学动画引擎）或PIL（Python 图像库）来生成动态图形。例如，你可以在视频中自动添加一个动态进度条或图标飞入效果。实现方式是为特定的动画类型编写技能，AI 会在渲染时并行调用这些技能生成动画片段，然后将其合成到主视频中。

一个自定义字幕样式的配置示例（需要在技能中预设）：

# 假设在 helpers/render.py 中扩展字幕样式函数 def generate_subtitle_filter(text, start, end, style="default"): if style == "lower_third": # 底部三分之一处，白色文字，半透明黑底 return f"drawtext=text='{text}':fontfile=/path/to/font.ttf:fontsize=24:fontcolor=white:box=1:boxcolor=black@0.5:boxborderw=5:x=(w-text_w)/2:y=h-h/3" elif style == "upper_bold": # 顶部，粗体黄色文字 return f"drawtext=text='{text}':fontfile=/path/to/boldfont.ttf:fontsize=28:fontcolor=yellow:x=(w-text_w)/2:y=50" else: # default return f"drawtext=text='{text}':fontfile=/path/to/font.ttf:fontsize=20:fontcolor=white:x=(w-text_w)/2:y=h-100"

然后你可以指令 AI：“使用lower_third样式添加字幕”。

5.3 项目记忆与持续编辑

video-use会在你的项目文件夹中维护一个project.md文件。这个文件记录了本次剪辑会话的所有决策、参数和状态。这意味着你可以随时中断工作，几天后回来，AI 仍然记得之前的上下文。你只需说“继续我们上次的编辑”，它就能从project.md中恢复状态，接着工作。这对于大型、长期的视频项目来说是一个杀手级功能。

6. 项目结构解析与代码走读

要真正掌握video-use，有必要了解其代码组织。这能帮助你在遇到问题时进行调试，或进行二次开发。

video-use/ ├── helpers/ # 核心脚本目录 │ ├── __init__.py │ ├── transcribe.py # 语音转录模块 │ ├── pack_takes.py # 转录文本打包模块 │ ├── timeline_view.py # 视觉快照生成模块 │ ├── make_edl.py # EDL生成模块 │ └── render.py # FFmpeg渲染模块 ├── skills/ │ └── manim-video/ # 示例：Manim动画技能（可扩展） ├── static/ # 静态资源（如图标） ├── .env.example # 环境变量示例文件 ├── .gitignore ├── LICENSE ├── README.md # 项目总览 ├── SKILL.md # 技能定义与硬性规则 ├── install.md # 安装指南 ├── poster.html └── pyproject.toml # Python项目依赖配置

让我们看一个关键脚本helpers/pack_takes.py的简化逻辑，理解它如何创建 LLM 的“剧本”：

# helpers/pack_takes.py 核心逻辑示意 import json from pathlib import Path def pack_transcripts(transcript_files, output_md_path="takes_packed.md"): """ 将多个转录JSON文件打包成一个结构化的Markdown文件。 """ packed_content = [] for idx, t_file in enumerate(transcript_files): with open(t_file, 'r') as f: data = json.load(f) video_id = data.get("id", f"C{idx:04d}") duration = data.get("duration", 0) phrases = data.get("phrases", []) # 构建章节头 section_header = f"## {video_id} (时长: {duration:.1f}秒, {len(phrases)}个短语)\n" packed_content.append(section_header) # 添加每个短语，包含时间戳、说话人和文本 for phrase in phrases: start = phrase.get("start", 0) end = phrase.get("end", 0) speaker = phrase.get("speaker", "S0") text = phrase.get("text", "") # 格式化为 [start-end] Speaker text packed_content.append(f" [{start:06.2f}-{end:06.2f}] {speaker} {text}") packed_content.append("") # 空行分隔不同视频源 # 写入Markdown文件 with open(output_md_path, 'w', encoding='utf-8') as f: f.write("\n".join(packed_content)) print(f"打包完成，输出至: {output_md_path}") return output_md_path # 实际使用中，transcript_files 来自 ElevenLabs Scribe API 的返回结果。

这个脚本将机器可读的 JSON 转录数据，转换成了人类和 LLM 都易于阅读和推理的 Markdown 格式，是连接音频世界和文本推理世界的桥梁。

7. 常见问题与故障排查

在实际使用中，你可能会遇到一些问题。以下是常见问题的排查指南。

8. 最佳实践与工程建议

要将video-use稳定地集成到你的工作流中，遵循以下最佳实践至关重要。

1. 素材预处理是成功的一半

   • 命名规范：给原始视频文件起一个清晰的名字，如01_intro_raw.mp4,02_demo_featureA.mp4。这能帮助你和 AI 更好地理解素材内容。
   • 音频质量：确保录音环境安静，人声清晰。糟糕的音频会极大影响转录准确度，进而影响剪辑质量。
   • 格式统一：尽量使用 MP4 (H.264/AAC) 这类广泛支持的格式，可以减少编解码器兼容性问题。

2. 从简单指令开始，逐步复杂化

   • 首次使用：先尝试“去掉所有停顿和填充词”这种简单指令，验证整个流程。
   • 明确指令：使用具体、清晰的指令。“让视频更有活力”是模糊的；“将节奏加快20%，使用快节奏背景音乐，字幕用亮黄色”是明确的。AI 遵循的规则在SKILL.md中，你的指令是它的创意引导。
   • 迭代反馈：充分利用“提议-确认”环节。不要指望一次指令就得到完美成片。基于 AI 的初版策略，给出具体反馈：“保留第三个片段中的笑话，但剪短前奏。”

3. 项目管理与版本控制

   • 善用project.md：这是你的项目记忆。重大修改前，可以手动备份此文件。
   • 版本化输出：video-use每次渲染都会覆盖edit/final.mp4。对于重要项目，在最终确认前，可以手动将满意的版本复制出来重命名（如final_v1.mp4）。
   • 原始素材备份：始终保留未经任何处理的原始素材。

4. 安全与成本考量

   • API 密钥管理：ELEVENLABS_API_KEY是私密信息。确保.env文件不被提交到 Git 等版本控制系统（.gitignore通常已包含它）。
   • 成本控制：ElevenLabs 转录按音频时长收费。处理长视频前，预估一下成本。可以先对长视频进行粗剪，只提交精华部分给 AI 进行精细处理。
   • 本地处理优先：除了转录调用 API，其他所有步骤（打包、渲染、评估）均在本地进行，保护了你的原始视频数据隐私。

5. 扩展与自定义

   • 阅读helpers/脚本：这是学习如何与 AI 协作处理多媒体任务的最佳范例。你可以模仿这些脚本，创建自己的“技能”，比如自动添加品牌水印、识别特定场景并打标签等。
   • 贡献与社区：video-use是开源项目。如果你改进了字幕样式、修复了 Bug 或增加了新功能，可以考虑向原仓库提交 Pull Request。

browser-use/video-use代表了一种新的可能性：将创意工作中重复、规则驱动的部分，委托给一个可编程、可沟通的 AI 代理。它不是一个全自动的“视频生成器”，而是一个强大的“副驾驶”。它的价值不在于替代剪辑师，而在于解放剪辑师，让他们从繁琐的操作中抽身，将更多精力投入到叙事、节奏和情感这些真正需要人类创造力的领域。

对于开发者而言，它的意义更为深远。它展示了一种“LLM as a Glue”的架构范式：LLM 作为决策和协调中枢，调用一系列专业的工具（转录 API、FFmpeg、图像库）来完成复杂任务。这种模式可以复制到音频处理、文档生成、数据分析等无数场景。

开始你的尝试吧。从一个简单的视频文件夹开始，用一句自然的指令，体验从“操作时间线”到“指导智能体”的转变。你可能会遇到一些配置上的小挑战，但一旦流程跑通，它为你打开的效率与创意之门，将是值得的。

🚀 30+款热门AI模型一站整合，DeepSeek/GLM/Claude 随心用，限时 5 折。 👉 点击领海量免费额度