论文精读：Vary: Scaling up the Vision Vocabulary for Large Vision-Language Models

Vary: Scaling up the Vision Vocabulary for Large Vision-Language Models

Status: Reading
Author: Chunrui Han, Haoran Wei, Jianjian Sun, Jinrong Yang, Jinyue Chen, Liang Zhao, Lingyu Kong, Xiangyu Zhang, Zheng Ge
Institution: 中国科学院大学, 华中科技大学, 旷视科技（MEGVII Technology）
Publisher: arXiv
Publishing/Release Date: December 11, 2023
Score /5: ⭐️⭐️⭐️
Type: Paper
Link: https://arxiv.org/abs/2312.06109

论文精读

摘要

大规模视觉-语言模型（Large Vision-Language Models，LVLMs）基本上使用得都是同一个视觉词表——CLIP，它也适用于大部分的视觉任务。但是，对于一些特殊的任务往往需要更密集和更细致的感知，比如文档OCR和图标理解，特别是对于非英语场景，CLIP的词表在分词时往往比较低效，并且还可能会遇到无法分词的问题。基于此问题，作者提出了Vary（Vision vocabulary），一种有效扩展LVLMs视觉词表的方法。该方法主要包括两步，首先是生成新的视觉词表，作者通过解码器 Transformer 设计了一个词表网络，通过自回归的方式生成词表。然后将新的词表合并到原本的视觉词表（CLIP）中，以此来快速增强LVLMs的特征表示能力。

引言

类似于GPT-4的LVLMs，比如BLIP-2、MiniGPT4、LLaVA和Qwen-VL等，在各个方面都有很出色的性能，它们一般都具有两部分：LLMs和视觉编码器。为了将图像编码与文本编码对齐，BLIP-2和MiniGPT-4引入了高质量的图像-文本对进行有监督微调，LLaVA则是利用线性层将视觉编码映射到文本编码，Qwen-VL则是利用了交叉注意力层。

在这里插入图片描述

然而，上述的LVLMs的视觉编码器部分基本上都是CLIP，这有可能会成为一个瓶颈。我们可以将CLIP视为一个巨大的通用视觉词表，但是在一些特殊的领域（例如中文OCR），CLIP可能无法非常有效的将所有的视觉信息编码进一个固定长度的tokens中。尽管mPlug-Owl和Qwen-VL通过解冻并继续训练视觉编码器的方式来缓解上述问题，但是作者认为这种方法会有3个问题：① 可能会覆盖原始词表的知识；② 在较大的LLM上的训练效率较低；③ LLM具有较强的记忆能力，因此不能一张图片看多次，也就是说epoch不能太大。

作者提出的Vary启发于LLMs中的文本词表扩充，主要分为两步：① 生成新的词表；② 合并新旧词表。如下图所示，首先第一步，构造了一个小的pipeline，包含一个词表网络和一个小的解码器Transformer，然后通过自回归的方式来训练词表网络。作者认为，基于自回归的训练方式可能比CLIP基于对比学习的方式更加适合密集感知型任务。（这一块以OCR为例，那这个pipeline的输入就是图片，输出就是文本）一方面，自回归的next-token可以让视觉词表压缩更长的文本，另一方面，这种方式可以使用的数据格式更加多样。然后第二步，将新的视觉词表添加到LVLMs，这一步为了避免知识覆盖，将新旧词表网络都冻结了。

在这里插入图片描述