CoCa论文笔记

摘要

计算机视觉任务中，探索大规模预训练基础模型具有重要意义，因为这些模型可以可以极快地迁移到下游任务中。本文提出的CoCa（Contrastive Captioner），一个极简设计，结合对比损失和captioning损失预训练一个image-text encoder-decoder基础模型，该模型包含对比方法，如CLIP，和生成方法，如SimVLM，的学习能力。与基本的encoder-decoder transformer使用所有的decoder层来编码输出不同，CoCa在上半部分的decoder中舍去cross-attention来编码unimodel单模态文本表示，然后级联剩下的decoder结合image encoder用于multimodel图文对表示。在单模态的图像和文本表示之间使用对比损失函数，对多模态decoder的输出应用captioning损失来自动预测文本tokens。通过共享相同的计算图，两个训练目标以最小的开销有效地训练。CoCa在网络文本数据和带注释的图像数据上进行预训练，图像的标签被简单视为文本来学习特征表示。此外，CoCa在零样本迁移和各种特定的下游任务上都取得了最好的效果，包含视觉识别（ImageNet，Kinetics-400/600/700，Moments-in-Time），检索，多模型理解和图像字幕。在图像分类任务上，CoCa的zero-shot取得86.3%的top-1准确率，linear probe取得90.6%，微调上取得91.0%的精度。

Introduction

深度学习最近已经见证了基础语言模型的兴起，例如BERT，T5，GPT-3，该模型使用大规模数据进行预训练，并通过零样本、少样本或迁移学习展示通用多任务处理能力。与专用模型相比，针对大量下游任务的预训练基础模型可以摊销训练成本。
对于视觉和视觉-语言问题，几个基础模型已经进行探究过：

Single-encoder model：之前的工作验证了single-encoder模型的有效性，该模型在图像分类数据集，如ImageNet，上使用交叉熵损失函数进行预训练。模型的编码器提供通用的视觉特征表示，可以在各种图像和视频理解的下游任务上进行微调。但是这些模型非常依赖于图像的标注，同时不涉及任何自然语言知识，阻碍其在视觉和语言多模态的下游任务上的应用。

Dual-encoder model：指的是CLIP这一条线上的研究。利用海量从网络上采集的图文对，以对比损失函数优化两个encoder，即image encoder和text encoder分别对图像和文本进行独立编码。CLIP模型在zero-shot图像分类任务和图像-文本检索上都取得出色的成绩，但是由于CLIP是图像和文本独立编码，且编码过程中没有任何图像和文本侧的交叉，只在最后计算余弦相似度，缺少图像和文本的融合表示，因此不适用于VQA等需要对图像和文本联合理解的任务。

Encoder-Decoder model：这种模型使用encoder-decoder的结构，encoder侧对图像进行编码，decoder侧学习一个跨模态的语言模型，预测图像对应的文本。这种生成式方法天然适用于看图说话任务，并且图像和文本在encoder-decoder的attention交互有助于多模态信息融合，适用于多模态理解相关任务。缺点在于，没有像CLIP一样生成单独的文本表示，不能灵活应用到图文匹配任务中。

CoCa统一上面三种范式，训练一个图像-文本模型既可以生成图像侧和文本侧的单独表示，又能进行更深层次的图像、文本信息融合，适用于更广泛的任务。

模型结构

介绍CoCa网络结构之前，首先回顾一下之前三种基础模型的不同之处。

Single-Encoder Classification：该方法使用一个大型图像标注数据集，如ImageNet、Instagram、JFT，来训练一个视觉encoder。这些图像标签通常使用交叉熵损失函数来映射到固定的类别空间分布中，公式如下。

$L_{cls}=-p(y)logq_{\theta}(x)$

Dual-Encoder Contrastive Learning：该方法使用海量从网络上采集的图像对进行训练，以对比损失函数优化image和text encoder，公式如下：

$L_{con}=-\frac{1}{N}(\sum_i^Nlog\frac{exp(x_i^Ty_i/\sigma)}{\sum_{j=1}^Nexp(x_i^Ty_i/\sigma)}+\frac{exp(y_i^Tx_i/\sigma)}{\sum_{j=1}^Nexp(y_i^Tx_i/\sigma)})$
其中 $x_i$ 和 $y_j$ 分布为图像和文本的归一化编码。 $\sigma$ 为温度系数来缩放逻辑值。

Encoder-Decoder Captioning：encoder侧对图像进行编码，decoder侧学习一个跨模态的语言模型，预测图像对应的文本，损失函数如下：

$L_{cap}=-\sum_{t=1}^TlogP_{\theta}(y_t|y_{<t},x)$
如下图所示，CoCa模型的整体框架包含3个部分：一个encoder（image encoder）和两个decoder（Unimodel Text Decoder和Multimodel Text Decoder）。Image Encoder采用图像模型对图像进行编码，例如ViT等。Unimodel Text Decoder和CLIP中的text encoder类似，用于提取文本的特征，是一个不和图像侧进行信息交互的文本解码器。Unimodel Text Decoder和Image Encoder之间没有cross attention，而MultiMode Text Decoder建立在Unimodel Text Decoder之上，和Image Encoder进行交互，生成图像和文本交互信息，并解码还原对应文本。

整个模型的损失包括对比学习和看图说话两部分。损失函数如下：
$L_{CoCa}=\lambda_{con}*L_{con}+\lambda_{cap}*L_{cap}$
单模态文本decoder生成文本编码，末尾的cls token包含文本统一表示，和图像侧编码进行对比学习。多模态文本编码部分和图像侧编码输出进行更深入交互，生成文本预测结果。
此外，CoCa采用attention pooling的方式融合图像侧信息。对于图像识别任务，使用单个图像编码获取全局表示效果更好，而对于多模态理解任务需要更多视觉tokens获取局部特征。因此CoCa在图像侧使用attention pooling既可以提取一个统一的编码，也可以提取每个token的表示。对于生成式任务会用一个维度为256的query进行attention，而对比学习则采用维度为1的query提取全局信息。

实验结果

预训练设置

Data：CoCa使用JFT-3B和ALIGN两个数据集从头开始训练模型，不同于之前的模型首先使用交叉熵损失函数预训练一个图像编码器，CoCa直接从头开始训练所有参数。
Optimization：batch size设置为65536，其中每个batch中的数据来自JFT和ALIGN数据集各一半。训练步数为500k，大约是JFT训练5个epoch，ALIGN训练10个epoch。优化函数采用Adafactor， $\beta_1=0.9,\beta_2=0.999$ ，权重衰减率为0.01。CoCa预训练的输入大小为288×288，patch size为18×18，之后又以576×576的分辨率训练了一个epoch。

实验结果

CoCa在图像分类、图文检索、看图说话等多个任务上都取得非常亮眼的效果。下图为CoCa在多个任务上的效果对比，可以看到CoCa在多个任务和数据集上都达到SOTA，在ImageNet上达到91%的效果。

视觉识别任务

CoCa分别在图像分类数据集ImageNet和视频数据集Kinetics-400, 600, 700上进行实验验证其有效性。实验过程中的超参数设置如下。

冻结CoCa的预训练权重，然后在数据集上进行训练，在相同的设置下，与其他模型进行对比，效果如下，可以看到CoCa已经取得较好的Top-1精度，同时在视频任务上超过之前的SOTA方法。进一步微调CoCa的encoder，在所有数据集上效果都有提升，在ImageNet上取得新的SOTA达到91%的Top-1值。

跨模式对齐任务

在该任务中，CoCa的所有参数冻结直接用来提取特征进行zero-shot，在这部分多模态decoder没有被使用。

零样本图文检索

CoCa在MSCOCO和Flickr30K两个基础的图文检索数据集上进行测试。按照CLIP的测试方法，首先分别输入图像/文本到对应的encoder中得到测试集中所有的图像/文本embeddings，然后通过余弦相似度召回。如下图所示，CoCa在所有评价指标上都超过之前方法很多。结果显示CoCa可以学习到很好的单模态表示并且跨膜态对齐它们。

零样本图像分类

如下图所示，CoCa在ImageNet上取得一个新的SOTA零样本图像分类结果。此外，通过对比平均值可以知道CoCa具有较好的泛化性。

零样本视频检索

CoCa在MSR-VTT数据集上测试视频-文本检索效果。如下图所示CoCa在text-to-video和video-to-text召回上都取得最好的效果。

多模态理解任务

CoCa一个关键的优势在于其可以像encoder-decoder模型一样处理多模态embeddings，因此CoCa可以进行看图描述和多模态理解任务。

多模态理解

CoCa分别在VQA、SNLI-VE、NLVR2上进行多模态理解任务测试，如下图所示，CoCa效果超过最强的视觉语言预训练模型，同时在这三个任务上都取得了SOTA。

看图说话

除了多模态分类任务，CoCa同样可以直接应用到看图说话任务中。使用captioning损失函数在MSCOCO数据集上微调CoCa，然后进行MSCOCO的Karpathy-test子集测试，同时在线测试NoCaps数据集。如下图所示，Coca在MSCOCO数据集上超越使用交叉熵损失训练的最强模型。在NoCaps测试上，CoCa分别在测试和验证子集上取得SOTA。