【VTG】 VTG-LLM: Integrating Timestamp Knowledge into Video LLMs for Enhanced Video Temporal Ground
note
- VTG-LLM 通过巧妙的时间嵌入设计、特殊时间 token 和轻量级槽位压缩，成功将时间戳知识注入视频 LLM，在多个 VTG 任务上设立了新的零样本标杆。
- 其配套的高质量数据集也为该领域的进一步研究提供了宝贵资源。这项工作为构建真正具备细粒度时空理解能力的通用视频助手迈出了坚实的一步。
- 问题：
- 问题一：关于时间嵌入的零初始化策略
- 问题二：关于时间Token与Caption质量的权衡
- 问题三：关于槽位压缩的实际收益
文章目录
- note
- 一、研究动机
- 二、论文核心
- 1. 序列时间嵌入（Sequence-Time Embedding）
- 2. 绝对时间 Token（Absolute-Time Tokens）
- 3. 基于槽位的 Token 压缩（Slot-Based Token Compression）
- 4. 配套数据集：VTG-IT-120K
- 三、实验结果
- 1. 零样本性能对比（表1）
- 2. 消融实验（表2）
- 3. 微调结果（表4-6）
- 4. 其他分析
- 四、分析
- 成功因素
- 局限性
- Reference
一、研究动机
论文： VTG-LLM: Integrating Timestamp Knowledge into Video LLMs for Enhanced Video Temporal Grounding
港中深，2025.2
核心问题：现有的视频大语言模型（Video LLM）虽然在视频内容理解上取得了显著进展，但在**视频时间定位（Video Temporal Grounding, VTG）**任务中，往往无法准确地将 linguistic queries 与视频中的具体时间戳对应起来。VTG 任务要求模型根据给定的自然语言描述，精确返回事件发生的起止时间，这对视频浏览、编辑等下游应用至关重要。
现有方法的局限：
- 传统任务专用模型（如 Moment-DETR、Vid2Seq）虽然性能不错，但缺乏多任务并发处理能力和零样本泛化能力，每个下游任务都需要单独微调和大量预训练资源。
- 通用视频 LLM（如 Video-LLaMA、VideoChat）虽能处理多种任务，但其视觉输入中缺乏足够精确的时间戳信息，导致定位不准。
- 概念偏移问题：数字相关的知识（如计数“20个人”和时间“20秒”）被迫共享相同的 token 嵌入空间，增加了分类难度。
- 帧采样瓶颈：VTG 任务需要采样远多于普通 VQA 任务的帧数（如 96 帧 vs 8～16 帧），但 LLM 的上下文长度有限，亟需高效的 token 压缩方法。
- 数据集质量：现有指令微调数据集要么标注质量低，要么任务分布极不均衡。
因此，作者提出VTG-LLM，旨在系统性地将时间戳知识注入视频 LLM，同时构建高质量的平衡数据集VTG-IT-120K。
二、论文核心
VTG-LLM 包含三个精心设计的组件，分别解决上述挑战：
1. 序列时间嵌入（Sequence-Time Embedding）
- 动机：仅靠序列嵌入（sequence embedding）只能反映帧的相对顺序，无法表达绝对时间戳。由于采样间隔不均匀且视频长度差异大，模型难以推断真实时间。
- 方法：在视觉 token 上同时加上序列嵌入和绝对时间嵌入：
z ^ i , j = z i , j + [ W s ] i + [ W t ] t \hat{z}_{i,j}=z_{i,j}+[W_{s}]_{i}+[W_{t}]_{t}z^i,j=zi,j+[Ws]i+[Wt]t
其中t tt是该帧对应的绝对时间（秒）。为避免破坏预训练视觉编码器的特征，时间嵌入矩阵W t W_tWt全部初始化为零。此外，针对未见过的测试时间戳，采用测试时插值机制，利用相邻已知时间戳的嵌入进行线性组合。
2. 绝对时间 Token（Absolute-Time Tokens）
- 动机：以往方法使用相对帧 ID（如 frame_1, frame_2）会带来量化误差，且随视频长度线性增长；从零训练时间 token 又会破坏预训练 LLM 已有的数字知识。
- 方法：在 tokenizer 中引入11 个特殊时间 token（0～9 和小数点），所有时间戳统一用6 个 token表示（例如 120.5 秒 →
<t1><t2><t0><t0><tdot><t5>）。这样可支持超过 1 小时的视频，且精度恒定。 - 初始化策略：将时间 token 的嵌入矩阵和 LLM 预测头权重，直接拷贝自对应数字的预训练嵌入（如
<t1>初始化为数字1的嵌入），实现数字知识向时间知识的迁移。
3. 基于槽位的 Token 压缩（Slot-Based Token Compression）
- 动机：VTG 需要大量帧，但 LLM 上下文受限。传统交叉注意力压缩需要大量数据，采样方法则丢失过多信息。
- 方法：受 Soft-MoE 启发，设置K KK个可学习的槽位（slot），每个槽位是所有视觉 token 的加权混合：
s k = ∑ i = 1 N exp ( Φ k T z i ) ∑ j = 1 N exp ( Φ k T z j ) z i s_{k}=\sum_{i=1}^{N}\frac{\exp(\Phi_{k}^{T}z_{i})}{\sum_{j=1}^{N}\exp(\Phi_{k}^{T}z_{j})} z_{i}sk=i=1∑N∑j=1Nexp(ΦkTzj)exp(ΦkTzi)zi
其中Φ ∈ R K × d \Phi \in \mathbb{R}^{K \times d}Φ∈RK×d是可训练的槽位分发器。该方法只需训练一个矩阵，计算高效，且能将任意数量帧的视觉 token 压缩至固定长度（如 256），从而允许模型采样多达 96 帧。
4. 配套数据集：VTG-IT-120K
- 收集自公开来源，包含47.2K 视频、120K 标注，覆盖四大 VTG 子任务：
- 时刻检索（Moment Retrieval, 63.2K）
- 密集视频描述（Dense Video Captioning, 37.2K）
- 视频摘要（Video Summarization, 15.2K）
- 视频精彩片段检测（Video Highlight Detection, 3.9K）
- 使用Gemini-1.5 Pro 重新标注了 51.9K 条低质量字幕，使描述更简洁且与视觉内容更相关。相比之前的数据集，任务分布更均衡。
三、实验结果
实验在三个主流 VTG 基准上进行零样本评估：
| 任务 | 数据集 | 主要评测指标 |
|---|---|---|
| 密集视频描述 | Youcook2 | CIDEr, SODA_c, F1 Score（定位精度） |
| 时刻检索 | Charades-STA | R@1(IOU=0.5), R@1(IOU=0.7) |
| 视频精彩片段检测 | QVHighlights | mAP, HIT@1 |
1. 零样本性能对比（表1）
- VTG-LLM (7B) 在所有数据集和几乎所有指标上均优于现有的视频 LLM，包括传统模型（Valley、VideoChat 等）和专为 VTG 设计的模型（TimeChat、VTimeLLM、Momentor、HawkEye）。
- 提升在时间戳定位相关指标（F1 Score, Recall）上尤为显著，说明性能增益主要来自更准确的时间定位能力。
2. 消融实验（表2）
- 时间嵌入的有效性：仅用序列嵌入（SE Only）性能下降；若随机初始化时间嵌入（TE Random Initialize），性能严重受损，证明零初始化策略至关重要。
- 绝对时间 Token 的作用：
- 移除时间 token（No Time Token）导致定位指标大幅下降。
- 不统一格式（Time Token not Formatted）或不初始化嵌入（Token Embedding not Initialized）同样损害性能。
- 使用时间 token 会轻微降低描述质量（CIDEr/SODA_c 略降），揭示了定位精度与描述质量之间的权衡。
- 槽位压缩的优势：与基于熵采样、多样性采样或交叉注意力的方法相比，槽位压缩在各项任务上均取得最佳结果，证实了其在小规模指令微调数据下的有效性。
3. 微调结果（表4-6）
- 在 Youcook2、Charades-STA、QVHighlights 上微调后，VTG-LLM 大幅超越其他通用模型（如 TimeChat），甚至在 Charades-STA 上接近或超过某些任务专用模型（如 HawkEye、Moment-DETR）。
- 与 Vid2Seq 等使用十亿级预训练数据的全微调模型相比，VTG-LLM 仅用 120K 指令数据和 LoRA 微调，展现了极高的参数效率。
4. 其他分析
- 视频时长鲁棒性（表3）：在不同视频时长区间（0s～420s+）上，性能波动较小，说明模型对长视频具有较好适应性。
- 解码温度：降低温度（τ = 0.1 \tau=0.1τ=0.1）可进一步提升定位性能（表7）。
- 测试时插值：对长视频数据集（如 Youcook2）有明显帮助。
四、分析
成功因素
- 时间戳知识的深度融合：序列时间嵌入提供了连续的绝对时间信号，绝对时间 token 则让 LLM 能以离散符号精确输出时间，两者互补。
- 知识继承策略：无论是时间嵌入的零初始化，还是时间 token 从数字嵌入初始化，都最大限度地保留了预训练模型的原有能力，加速了收敛并提升了最终性能。
- 高效的视觉压缩：槽位机制以极简的参数实现了高质量的信息聚合，使得在有限上下文内处理大量帧成为可能，这是 VTG 任务的关键。
- 数据质量与平衡性：VTG-IT-120K 的高质量重标注缓解了噪声干扰，均衡的任务分布有助于模型学习通用的时序理解能力。
局限性
- Caption 质量与定位精度的权衡：使用绝对时间 token 虽然大幅提升定位能力，但对生成描述的自然性有一定影响。如何同时优化两者是未来方向。
- 未利用音频信息：视频中常包含有用的声音线索，当前模型仅处理视觉模态。
- 槽位压缩的泛化性：目前仅在 VTG 任务上验证，其在其他视频理解任务（如纯描述生成）上的表现有待探索。
- 推理效率：尽管压缩了 token，但处理 96 帧仍带来不小的计算开销。
Reference
[1] VTG-LLM: Integrating Timestamp Knowledge into Video LLMs for Enhanced Video Temporal Grounding