Multi-granularity Correspondence Learning from Long-term Noisy Videos--论文笔记

解决在视频语言学习中，如何有效地从长期（long-term）且带有噪声的视频数据中学习时间上的对应关系（temporal correspondence）。

噪声对应学习（Noisy Correspondence Learning）是指在处理视频和文本数据时，学习如何从带有噪声的、不完全对齐的多模态数据中提取有用的信息。在视频语言预训练（Video-Language Pre-training, VLP）的场景中，噪声对应通常指的是视频片段和相应的文本描述之间的不对齐问题。这种不对齐可以是粗粒度的，比如视频片段和文本描述的整体不匹配，也可以是细粒度的，比如视频帧和文本中的单词之间的不精确对应。

举个栗子：视频1展示了如何切洋葱，但对应的文本描述却是“准备蔬菜”，这里“准备蔬菜”可能包括切洋葱、削土豆等多种活动，这就是粗粒度的噪声。

使用软最大算子（Soft-Maximum Operator）识别关键词汇和帧，有助于模型在细粒度上识别和关注视频和文本中最重要的部分，从而提高对噪声的鲁棒性。

使用可对齐的提示桶（Alignable Prompt Bucket）存储与视频片段相关的一系列文本候选，通过使用最优传输（OT）或其他对齐算法，模型可以评估视频片段与文本候选之间的对齐质量。提示桶中的候选将根据它们与视频片段的对齐质量进行排序。

实现方法：

在视频和文本对齐的上下文中，使用最优传输距离（Optimal Transport, OT）来最小化视频片段和文本描述之间的距离，从而实现对齐。具体过程如下：

1. **特征表示**：
- 首先，将视频片段转换为特征表示，通常通过提取视觉特征来实现。
- 同样，文本描述也被转换为特征表示，通常通过使用语言模型提取文本的嵌入。

2. **距离计算**：
- 计算视频特征和文本特征之间的距离矩阵。这个距离可以是欧氏距离、余弦相似度或其他适合度量多模态数据相似性的距离度量。

3. **最优传输映射**：
- 使用最优传输算法（如Sinkhorn算法）来找到两个特征集合之间的最优映射。这个映射将最小化将视频特征分配到文本特征的总成本。

4. **对齐学习**：
- 利用OT映射来学习视频和文本之间的对齐。这可以通过最小化OT映射的成本函数来实现，同时考虑到模型的预测和实际的对齐情况。

5. **损失函数**：
- 定义一个损失函数，该函数考虑了OT映射的成本以及模型预测的准确性。损失函数用于在训练过程中优化模型参数。

6. **模型训练**：
- 使用梯度下降或其他优化算法来最小化损失函数，从而训练模型。

7. **故障负样本处理**：
- 通过OT映射，模型可以识别出与噪声负样本相对应的视频帧和文本词汇，从而提高对噪声的鲁棒性。