这次我们来看一个能让你用自然语言对话来剪辑视频的开源项目：browser-use/video-use。它不是一个传统的视频编辑软件，而是一个“技能”（Skill），可以安装到 Claude Code、Codex、Hermes 这类具备代码执行能力的 AI 智能体（Agent）上。核心思路很简单：你把一堆原始视频素材扔进一个文件夹，然后告诉你的 AI 助手“帮我把这些剪成一个发布视频”，它就能理解你的意图，自动完成剪辑、调色、加字幕、加动画等一系列操作，最终生成一个final.mp4文件。

这个项目的核心价值在于，它将复杂的视频编辑工作流，从依赖图形界面和手动操作，转变为依赖 AI 对文本化视频内容（如逐字稿）的理解和决策。你不需要学习 Premiere 或 DaVinci Resolve 的复杂时间线，也不需要记忆各种快捷键，只需要用自然语言描述你的编辑意图。对于需要快速处理大量口播视频、教程、访谈或 Vlog 素材的内容创作者和开发者来说，这能极大提升效率。

本文会带你完整走一遍video-use的部署、配置和实战流程。你将了解到它的核心能力边界、如何准备环境、如何通过 Claude Code 等智能体来使用它，以及在实际操作中可能遇到的问题和解决方案。如果你对 AI 驱动的自动化工作流感兴趣，或者正在寻找一种更“程序员友好”的视频编辑方式，这篇文章值得你仔细阅读。

1. 核心能力速览

在深入细节之前，我们先通过一个表格快速了解video-use是什么、能做什么、以及它的基本要求。

2. 适用场景与使用边界

video-use并非万能，理解其擅长和不擅长的场景，能帮助你更好地利用它。

它非常适合以下场景：

1. 内容创作者的日常粗剪：你录制了一段长达一小时的教程或访谈，里面充满了停顿、重复和语气词。video-use可以快速识别并剪掉这些部分，保留核心内容。
2. 统一风格包装：你需要为一系列视频添加统一的片头片尾、字幕样式（例如两词一组的全大写样式）和色彩滤镜（如电影感暖色调）。video-use可以自动化完成这些重复性工作。
3. 基于文本的精准剪辑：由于剪辑决策基于精确到词语级别的转录文本，你可以实现非常精准的剪辑，例如“保留提到‘开源模型’的所有句子，剪掉其他部分”。
4. 与开发工作流集成：作为开发者，你可以在 CI/CD 流程中，结合video-use自动生成产品更新视频或文档解说视频。

它的局限和不适用场景：

1. 复杂视觉特效与合成：它不适用于需要复杂绿幕抠像、精细蒙版跟踪、粒子特效等重度视觉创作。其动画叠加依赖于 HyperFrames、Remotion、Manim 或 PIL 等代码生成方式，更偏向信息图表类动画。
2. 精细的音频处理：虽然能处理基础的音频淡入淡出，但对于多轨混音、降噪、均衡器调整等专业音频工程，仍需依赖专业软件。
3. 完全无需人工干预：AI 提出的剪辑策略需要你确认（Ask → confirm流程）。它并非全自动黑盒，而是增强你决策效率的工具。
4. 版权与肖像权风险：重要提醒：使用任何自动化工具处理视频时，你必须确保拥有素材的完整版权或合法授权。特别是处理他人肖像或受版权保护的背景音乐、视频片段时，务必遵守相关法律法规。video-use只是一个工具，不豁免使用者的法律责任。

3. 环境准备与前置条件

在安装video-use技能之前，你需要搭建好它的运行环境。整个过程可以概括为：准备智能体 -> 安装系统工具 -> 获取 API 密钥。

3.1 基础智能体环境

video-use本身不是独立应用，它必须“寄生”在一个能够执行代码的 AI 智能体上。目前最主流的选择是Claude Code（Anthropic 推出的编码智能体）。

• Claude Code：你需要先安装并配置好 Claude Code。这通常意味着你已经在本地或服务器上运行了 Claude Code 服务，并且可以通过命令行（如claude命令）或 IDE 插件与其交互。
• 备选智能体：Codex、Hermes、Openclaw 等。只要该智能体支持安装自定义技能（Skill）并拥有 Shell 访问权限，理论上都可以运行video-use。

本文后续步骤将以Claude Code为主要环境进行说明。

3.2 系统级依赖安装

视频处理的核心是 FFmpeg，这是一个必须预先安装好的工具。

在 macOS 上（使用 Homebrew）：

brew install ffmpeg brew install yt-dlp # 可选，用于从网络下载视频源

在 Ubuntu/Debian Linux 上：

sudo apt update sudo apt install ffmpeg # 如果需要 yt-dlp sudo apt install python3-pip pip3 install yt-dlp

在 Windows 上：

1. 访问 FFmpeg 官网 下载构建版本。
2. 解压到一个目录，例如C:\ffmpeg。
3. 将C:\ffmpeg\bin添加到系统的PATH环境变量中。
4. 在命令行中运行ffmpeg -version验证安装。

3.3 获取 ElevenLabs API 密钥

video-use依赖 ElevenLabs 的Scribe模型进行高精度、带词级时间戳和说话人分离的音频转录。这需要付费 API 密钥。

1. 访问 ElevenLabs 官网 并注册/登录账号。
2. 进入Profile->API Keys页面（或直接访问elevenlabs.io/app/settings/api-keys）。
3. 点击 “Create a new API key”，为其命名（如video-use-transcribe）。
4. 复制生成的密钥字符串。请妥善保管，它将在下一步被使用。

4. 安装部署与启动方式

安装video-use有两种主流方式：通过智能体自动安装（推荐）和手动安装。推荐使用第一种，因为更符合“智能体技能”的生态逻辑。

4.1 方式一：通过智能体自动安装（推荐）

这是最简洁的方式。你只需要在已经启动的 Claude Code 对话中，输入一条特定的指令。

1. 启动你的 Claude Code。在终端中进入任意目录，运行：

   claude

   等待 Claude Code 初始化完成，进入对话状态。

2. 发送安装指令。将以下提示词完整地粘贴给 Claude Code：

   Set up https://github.com/browser-use/video-use for me. Read install.md first to install this repo, wire up ffmpeg, register the skill with whichever agent you're running under, and set up the ElevenLabs API key — ask me to paste it when you need it. Then read SKILL.md for daily usage, and always read helpers/ because that's where the editing scripts live. After install, don't transcribe anything on your own — just tell me it's ready and wait for me to drop footage into a folder.

3. 跟随智能体引导。Claude Code 会：

   • 自动克隆video-use仓库到本地（通常是~/Developer/video-use）。
   • 检查并提示你安装 FFmpeg（如果未安装）。
   • 使用uv或pip安装 Python 依赖。
   • 将video-use软链接到 Claude Code 的技能目录（如~/.claude/skills/）。
   • 在需要时提示你输入刚才获取的ElevenLabs API Key。你只需粘贴密钥即可。
   • 最终告诉你安装完成，并等待你提供视频素材。

整个过程是交互式的，智能体会处理大部分繁琐的配置步骤。

4.2 方式二：手动安装

如果你更喜欢完全掌控，或者智能体自动安装遇到问题，可以手动执行。

# 1. 克隆仓库并链接到技能目录 git clone https://github.com/browser-use/video-use ~/Developer/video-use # 为 Claude Code 创建软链接 ln -sfn ~/Developer/video-use ~/.claude/skills/video-use # 如果使用其他智能体，请对应修改路径，例如 Codex： # ln -sfn ~/Developer/video-use ~/.codex/skills/video-use # 2. 进入目录并安装Python依赖 cd ~/Developer/video-use # 推荐使用 uv（更快更轻量） uv sync # 或者使用传统的 pip # pip install -e . # 3. 配置 ElevenLabs API Key cp .env.example .env # 使用你喜欢的编辑器编辑 .env 文件，例如： nano .env # 在文件中找到 ELEVENLABS_API_KEY= 这一行，填入你的密钥 # ELEVENLABS_API_KEY=sk-your-actual-api-key-here

4.3 验证安装

安装完成后，无需“启动”任何独立服务。验证方式就是回到 Claude Code 对话中，让它列出已加载的技能，或者直接尝试使用。

在 Claude Code 对话中，你可以问：

你现在有哪些可用的技能？

或者更直接地，进入一个存放了测试视频素材的文件夹，然后发出指令：

cd /path/to/your/test_videos claude # 在 Claude Code 对话中输入： edit these into a short clip

如果技能加载成功，Claude Code 会开始分析文件夹内的视频文件，并与你交互后续的剪辑策略。

5. 功能测试与效果验证

假设你已经在~/Videos/raw_interview目录下存放了几个采访片段的原始视频文件（如take1.mp4,take2.mov）。我们来模拟一次完整的编辑流程。

5.1 测试准备

1. 素材准备：准备 2-3 个短视频片段（每个1-2分钟），内容最好包含一些口语化的停顿、重复和语气词。这是测试其“去除冗余”功能的好材料。
2. 启动智能体：在终端中，导航到你的素材目录并启动 Claude Code。

   cd ~/Videos/raw_interview claude

5.2 核心工作流测试

在 Claude Code 对话界面中，你可以尝试以下不同类型的指令，观察其响应和结果。

测试指令 1：基础剪辑

请把这些视频素材剪辑成一个连贯的总结视频。

• 预期行为：
  • Claude Code 会调用video-use技能。
  • 技能会首先使用你的 ElevenLabs API Key 对所有视频进行转录，生成一个结构化的takes_packed.md文件（约12KB）。这是关键一步，AI 通过阅读这个文件来“理解”视频内容。
  • 智能体会分析文本，提出一个剪辑策略，例如：“我将移除所有‘嗯’、‘啊’等填充词，合并相似的段落，并建议在话题转换处添加转场。是否同意此策略？”
  • 在你确认后，它开始执行剪辑、渲染。
  • 最终，在~/Videos/raw_interview/edit/目录下生成final.mp4和其他中间文件。

测试指令 2：风格化指令

将这些片段制作成一个风格明快的产品宣传片，添加全大写样式的字幕，并使用温暖的电影感色调。

• 预期行为：
  • 除了基础剪辑，智能体会尝试应用“warm cinematic”色彩查找表（LUT）进行自动调色。
  • 为所有语音内容添加字幕，默认样式是两词一组的大写字母。
  • 可能会询问你是否需要添加动画 overlays（如果素材适合）。

测试指令 3：精准控制指令

只保留每个片段中发言人谈论“开源优势”的句子，剪掉其他所有内容，然后拼接起来。字幕样式保持默认。

• 预期行为：
  • 这展示了基于文本转录的精准编辑能力。AI 会在takes_packed.md中定位所有包含“开源优势”的句子及其时间码。
  • 根据这些时间码生成编辑决策列表（EDL），并只渲染这些部分。
  • 这是传统时间线剪辑软件难以快速实现的逻辑剪辑。

5.3 效果验证点

完成一次编辑后，请检查以下输出结果：

1. 输出文件：确认edit/final.mp4文件已生成，并且可以正常播放。
2. 内容准确性：播放成品，检查是否按照你的指令（如去除冗余词、保留特定内容）进行了剪辑。
3. 技术质量：
   • 音频：检查剪辑点是否有爆音或突兀的跳动。video-use声称会在每个剪辑点添加 30ms 的音频淡入淡出，你应该听不到“啪”的噪音。
   • 视频：检查调色是否被应用（如果指定了），转场是否平滑。
   • 字幕：检查字幕是否准确、同步，样式是否符合预期。
4. 中间产物：查看edit/目录下的其他文件，如takes_packed.md（转录文本）、.edl文件（编辑列表）等，这有助于你理解 AI 的决策过程。

6. 接口 API 与批量任务

video-use本身没有直接的 HTTP REST API，但其通过智能体对话交互的模式，可以被脚本化，从而实现类似 API 的自动化批量处理。

6.1 通过脚本与智能体交互

你可以编写一个 Shell 或 Python 脚本，模拟用户与 Claude Code 的交互过程。核心思路是：将指令和素材路径通过标准输入（stdin）发送给claude命令行进程。

一个简单的概念验证脚本（batch_edit.sh）可能如下：

#!/bin/bash # batch_edit.sh - 一个简单的批量处理脚本示例 INPUT_DIR=$1 OUTPUT_DIR="$INPUT_DIR/edit" # 确保输出目录存在 mkdir -p "$OUTPUT_DIR" # 进入素材目录 cd "$INPUT_DIR" || exit 1 # 使用 here-document 向 claude 命令发送指令 # 注意：这需要你的 claude 命令支持非交互式模式或具有某种脚本接口。 # 以下仅为逻辑示例，实际实现取决于 Claude Code 的具体交互方式。 claude <<EOF edit these into a launch video. Use a neutral color grade and burn in subtitles. EOF # 检查是否生成最终文件 if [ -f "edit/final.mp4" ]; then echo "编辑成功！成品位于：$OUTPUT_DIR/final.mp4" else echo "编辑可能失败，请检查日志。" fi

重要提示：上述脚本仅为逻辑示例。实际的 Claude Code 可能不支持如此简单的非交互式输入。更可靠的方式是寻找或等待智能体平台（如 Browser Use Box）提供正式的 API 或 SDK。

6.2 使用 Browser Use Box 实现常驻服务

项目 README 中提到，对于“常驻编辑服务”（例如从你自己的 VPS 或 Telegram 机器人触发），可以通过Browser Use Box来运行智能体。Browser Use Box 是 browser-use 生态下的一个托管/自托管环境，它可能提供了更稳定的进程管理和潜在的 API 端点，使得外部程序能更可靠地触发视频编辑任务。你需要查阅 Browser Use Box 的文档来了解其具体的集成方式。

6.3 批量任务的最佳实践

对于真正的批量处理（例如，每天自动处理一个文件夹下的新视频），建议：

1. 使用监听模式：编写一个守护进程，监控特定目录（如~/Videos/inbox）。一旦有新的.mp4文件放入，就触发处理流程。
2. 分离配置与素材：每个项目（一组相关视频）应放在独立的文件夹中。.env配置文件（含 API Key）可以放在技能目录或用户主目录，避免在每个素材目录重复配置。
3. 日志记录：确保智能体或你的包装脚本将运行日志输出到文件，便于排查失败任务。
4. 错误处理与重试：网络问题（如调用 ElevenLabs API 失败）或临时性错误可能导致任务失败。你的批量脚本应具备重试机制和失败通知（如发送邮件或 Slack 消息）。

7. 资源占用与性能观察

由于video-use的工作流拆分明确，其资源占用也分布在不同的阶段，理解这一点有助于你优化性能和排查问题。

1. 转录阶段（CPU/网络密集型）：

   • 主要操作：调用 ElevenLabs Scribe API 进行音频转录。
   • 资源占用：此阶段主要消耗网络带宽（上传音频）和等待 API 响应的时间。本地 CPU 占用很低。性能取决于音频文件大小和网络质量。
   • 观察方法：在任务运行时，使用htop或任务管理器观察网络活动。你可以在 ElevenLabs 后台查看 API 使用情况和耗时。

2. AI 决策阶段（智能体推理密集型）：

   • 主要操作：Claude Code 等智能体阅读takes_packed.md文件，理解内容，并制定剪辑策略。
   • 资源占用：这完全取决于你使用的智能体模型。如果使用云端大模型（如 Claude 3），则消耗的是 API Token 和网络延迟。如果使用本地部署的大语言模型（LLM），则会占用显著的 GPU 显存和内存。
   • 观察方法：对于本地 LLM，使用nvidia-smi（NVIDIA GPU）或相应的监控工具观察显存占用。这是整个流程中可能对硬件要求最高的部分。

3. 渲染阶段（CPU/磁盘 I/O 密集型）：

   • 主要操作：FFmpeg 根据编辑决策列表（EDL）执行实际的视频剪辑、滤镜（调色）、混流、编码。
   • 资源占用：这是最耗时的本地计算阶段，会充分利用多核 CPU 进行视频编码。磁盘 I/O 也较高，因为需要读取原始视频和写入成品。
   • 观察方法：使用htop观察 CPU 使用率接近 100%。使用iotop或系统监控工具观察磁盘读写速度。
   • 性能优化：你可以在video-use的 helpers 脚本中查找 FFmpeg 参数，尝试调整编码器（如使用libx264而非h264_nvenc）或 CRF（质量）值来平衡速度与质量。

总结：video-use的本地硬件压力主要来自FFmpeg 渲染。如果你的视频很长或分辨率很高（如 4K），渲染时间会相应增加。确保你的系统有足够快的 CPU 和 SSD 硬盘能有效提升最终输出效率。

8. 常见问题与排查方法

在部署和使用video-use的过程中，你可能会遇到以下问题。这里提供排查思路。

9. 最佳实践与使用建议

为了更稳定、高效地使用video-use，遵循以下建议：

1. 从小规模测试开始：首次使用时，不要用长达数小时的重要项目素材。先用 1-2 个短小的测试视频验证整个流程，理解其工作方式和输出质量。
2. 提供高质量的源素材：清晰的音频是精准转录和剪辑的基础。尽量在安静环境中录制，使用好的麦克风，减少背景噪音。这能显著提升 ElevenLabs 转录的准确性和最终剪辑质量。
3. 指令明确且具体：AI 不是读心术。与其说“剪得好一点”，不如说“去掉所有‘嗯’和‘啊’，保留核心观点，使用明亮的色调，并添加底部居中的字幕”。清晰的指令能得到更符合预期的结果。
4. 利用项目记忆：video-use会在项目目录生成project.md文件来持久化会话记忆。这意味着你可以在一次编辑会话中分多次进行交互。例如，今天完成粗剪，明天再回来要求它“为昨天剪的视频添加开场动画”。这非常适合迭代式创作。
5. 探索helpers/目录：这里是所有实际编辑脚本（Python/Shell）存放的地方。通过阅读这些脚本，你可以深入了解其背后的 FFmpeg 命令、调色 LUT 应用方式、字幕生成逻辑等。高级用户可以修改这些脚本来定制化工作流。
6. 版权与合规第一：再次强调，自动化工具不能用于侵犯版权或肖像权。确保你拥有处理素材的所有必要权利。对于商用项目，务必进行人工最终审核。
7. 管理 API 成本：ElevenLabs Scribe 转录是按时长收费的。对于长视频，成本可能不低。定期查看 API 使用情况，并考虑是否需要对超长音频先进行预处理或分割。

browser-use/video-use代表了一种新的可能性：将视频编辑从手动操作转变为基于意图和文本描述的声明式工作流。它可能无法替代专业剪辑师的所有工作，但对于大量重复性、模板化的剪辑任务，以及希望将视频制作融入自动化脚本的开发者而言，它是一个极具潜力的工具。

最值得你首先尝试的，就是它的“去除填充词”和“自动添加字幕”功能，这能立刻解决很多创作者的痛点。最容易踩的坑通常是环境配置（FFmpeg、API Key）和指令不够明确。按照本文的步骤，准备好环境，从一个小测试开始，你很快就能体验到 AI 辅助剪辑的效率提升。