1、背景

        视觉语言模型（Visual Language Models）是可以同时从图像和文本中学习以处理许多任务的模型，从视觉问答到图像字幕。

        视觉识别（如图像分类、物体保护和语义分割）是计算机视觉研究中一个长期存在的难题，也是自动驾驶、遥感、机器人等无数计算机视觉应用的基石。随着深度学习的出现，视觉识别研究通过利用端到端可训练深度神经网络（DNN）取得了巨大成功。 然而，从传统机器学习向深度学习的转变带来了两个新的巨大挑战，即在 "从零开始深度学习 "的经典设置下 DNN 训练收敛缓慢以及 DNN 训练中大规模、特定任务和人群标签数据的费力收集。

        最近，一种新的学习范式 “预训练、微调和预测”（Pre-training, Fine tuning and Prediction）已在广泛的视觉识别任务中显示出极大的有效性。 在这种新范式下，DNN 模型首先使用某些现成的大规模训练数据（有注释或无注释）进行预训练，然后使用特定任务的注释训练数据对预训练模型进行微调。通过预训练模型学到的全面知识，这种学习范式可以加速网络收敛，并为各种下游任务训练出性能良好的模型。

2、什么是视觉语言模型

        视觉语言模型被广泛定义为可以从图像和文本中学习的多模态模型。它们是一种生成式模型，可以接受图像和文本输入并生成文本输出。

        大型视觉语言模型具有良好的零样本能力，具有良好的泛化能力，并且可以处理多种类型的图像，包括文档、网页等。用例包括谈论图像、通过指令进行图像识别、视觉问答、文档理解、图像字幕等。一些视觉语言模型还可以捕获图像中的空间属性。当系统提示检测或分割特定主题时，这些模型可以输出边界框或分割掩码，也可以定位不同的实体或回答有关其相对或绝对位置的问题。现有的大型视觉语言模型集、它们所训练的数据、它们对图像的编码方式以及它们的能力都存在很大差异。

3、VLM分类

        VLM按训练范式分成了四类：

        第一类是对比式训练（contrastive training），这是一种使用正例和负例对来训练模型的常用策略。VLM 的训练目标是为正例对预测相似的表征，为负例对预测不同的表征。

        第二类是掩码（masking），其方法是根据某些未被遮掩的文本来重建被遮掩的图块。类似地，通过遮掩描述中的词，也可以让 VLM 根据未被遮掩的图像来重建这些被遮掩的词。

        另一类是基于预训练骨干网络来训练 VLM，这往往是使用 Llama 等开源 LLM 来学习图像编码器（也可能是预训练的）和 LLM 之间的映射关系。相比于从头开始训练文本和图像编码器，学习预训练模型之间的映射关系的计算成本往往更低。大部分这类方法都是使用中间表征或部分重建，而生成式 VLM 则能生成图像或描述。有鉴于这类模型的性质，它们的训练成本通常是最高的。

        需要说明：这些范式并不是互斥的，很多方法都混合使用了对比、掩码和生成范式。

3.1 基于 Transformer 的 VLM 早期研究

        通过使用 Transformer 架构，BERT（使用 Transformer 的双向编码器表征）一诞生，就超过了当时所有的语言建模方法。之后不久，BERT 就被扩展用来处理视觉数据。visual-BERT 和 ViLBERT 是其中两个代表，它们的做法是将文本与图像 token 组合到一起。

        这些模型有两个训练目标：1) 经典的掩码建模任务，目标是预测给定输入中缺失的部分；2) 句子 - 图像预测任务，目标是预测图像标注是否描述了图像内容。通过利用这两个目标，这些模型在多种视觉 - 语言任务上表现出色，这主要是得益于 Transformer 模型有能力学会通过注意力机制将词与视觉线索关联起来。

3.2 基于对比的 VLM

        基于对比的训练往往能通过基于能量的模型（EBM）更好地解释，即模型的训练目标是为观察到的变量分配低能量，为未被观察到的变量分配高能量。来自目标分布的数据的能量应该较低，其它数据点的能量应该较高。

3.3 使用掩码目标的 VLM

        在深度学习研究中，掩码是一种常用技术。它可被视为一种特定形式的去噪自动编码器，其中的噪声有一种空间结构。它也与修复（inpainting）策略有关，该策略曾被用于学习强大的视觉表征。BERT 也在训练阶段使用了掩码式语言建模（MLM）来预测句子中缺失的 token。掩码方法非常适合 Transformer 架构，因此输入信号的 token 化使得随机丢弃特定的输入 token 变得更容易。

        已经有一些研究在图像方面探索这一方法，即掩码式图像建模（MIM），具体案例包括 MAE 和 I-JEPA。很自然地，也有人将这两者组合起来训练 VLM。其一是 FLAVA，其使用了掩码在内的多种训练策略来学习文本和图像表征。另一个是 MaskVLM，这是一种独立模型。

3.4 基于生成的 VLM

        上面的训练范式主要是操作隐含表征来构建图像或文本抽象，之后再在它们之间映射，生成范式则不同，它考虑文本和 / 或图像的生成。

3.5 用预训练骨干网络构建的 VLM

        VLM 的一个缺点是从头开始训练的成本很高。这通常需要成百上千台 GPU，同时还必须使用上亿对图像和文本。因此，也有很多研究者探索使用已有的 LLM 或视觉提取器，而不是从头开始训练模型。这种做法的另一个优势是可以利用现在很多开源且易用的 LLM。通过使用这样的模型，有可能学习到仅在文本模态和图像模态之间的映射。通过学习这样的映射，仅需要少量计算资源就可让 LLM 有能力回答视觉问题。

4、将 VLM 扩展用于视频

        之前谈到的 VLM 基本都是在静态视觉数据（图像）上训练和评估的。但是，视觉数据还有动态的，即视频。对 VLM 而言，视频数据既能带来新挑战，也有望为其带来新能力，比如理解物体的运动和动态或在空间和时间中定位物体和动作。用文本检索视频、视频问答和视频生成正在快速成为基础的计算机视觉任务。

        视频的时间属性对存储、CPU 内存来说都是一个巨大挑战（如果把每一帧都视为一张图像，那么帧率越高，成本就越高）。于是对于处理视频的 VLM 而言，就需要考虑多个权衡因素，比如数据加载器中动态视频解码器的压缩格式、基于图像编码器来初始化视频编码器、为视频编码器使用时空池化 / 掩码机制、非端到端 VLM。

        与图像 - 文本模型类似，早期的视频 - 文本模型也是使用自监督指标来从头开始训练视觉和文本组件。但不同于图像模型，对比式视频 - 文本模型并非首选方法，早期时人们更喜欢融合和时间对齐方法，因为相比于计算视频的全局表征，让表征中有更多时间粒度更重要。

        近段时间，视频 - 语言模型领域出现了图像 - 语言模型领域类似的趋势：使用预训练 LLM 并将其与视频编码器对齐，从而增强 LLM 的视频理解能力。视觉指令微调等现代技术也被广泛使用并被适配用于视频。