paper：BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models

引用量：376（截止2023-09）

motivation

BLIPv2主要从模态对齐、高效训练两个方向对图文多模态预训练任务（vision-and-language pre-training VLP）做出优化。在模态对齐上提出了一个轻量架构QFormer（querying transformer）来建立图像-文本的桥梁。在高效多模态训练上，结合QFormer提出一种二阶段预训练范式。在VQAv2任务上，仅用了$\frac{1}{54}$倍Flamingo80B的训练数据，却带来8.7%精度提升。

method

模型架构

**BLIP2的核心是引入了QFormer(Querying Transformer)模块来将对齐图片特征与文本特征。**QFormer内部包含两个transformer子模块，其一为image transofmrer，其二是text-transformer。image transformer比text-transformer多了一个cross-attention层，这两个transformer共享Self-Attention参数，如下图所示。

PS: 作者源码中用一个Bert模型来实现QFormer，通过魔改BertLayer实现通过条件判断来确定走image transformer分支还是text-transformer分支。感兴趣的同学可以深入看一下源码，核心逻辑位于：
lavis/models/blip2_models/Qformer.BertLayer

这里面有一个需要注意的点：作者没有将image encoder得到的image embedding作为image transformer的输入，而是定义了一个可训练的query作为输入。image embedding用作cross attention层的key， value。

这个地方理解可能比较难，尝试直觉的解释一下。NLP任务的transformer会对输入的token新增[CLS]token，通过训练将文本的信息融入到【CLS】token中。在分类、检索等下游任务中将【CLS】token对应位置的输出作为文本的表征。这里放一张图便于理解观察shape变化（忽略了batch size维度）。

类似的，QFormer定义了learning query通过训练将与文本对齐后的图片的信息融入到learning query中。与NLP不同的是：

• QFormer的image-transforme没有将图片的embedding作为输入和[CLS]token组合起来送入模型，而是将image embedding作为cross-attention的key，value。
• QFormer的image-transforme输入的【CLS】 token有多个（姑且这么称呼，论文称为learned queries，其实是一回事），而NLP中只有一个【CLS】token。

PS: 这种做法现在CV里面很常用。如Dalle2中的DiffusionPrior模块，diffusion model中的text inversion技术都用到了类似的思想。

QFormer的整体pipeline如下图所示，为了便于理解同时给出了shape变化（忽略了batch size维度）。image encoder是eva_clip_g

2.2 多模态预训练任务

BLIP2的预训练任务分为两个阶段。第一个阶段用于对齐多模态表征。主要通过Image-Text Contrastive Loss (ITC)、 Image-text matching (ITM)、Image-grounded Text Generation3个任务的联合训练来实现。第二个阶段用于让LLM理解第一个阶段产生的soft visual prompt的语义，从而借助LLM强大的知识库实现视觉推理等更为复杂的任务，主要通过language modeling（LM）任务的训练来实现。

BLIP2的预训练任务同样用了BLIP提出的boostrapping caption（也称为CapFilt method）技术。

2.2.1 多模态表征对齐预训练

主要通过ITC、ITM, ITG三个预训练任务来对齐QFormer产生的文本表征与图片表征。三个预训练任务联合优化。

Image-Text Contrastive Loss (ITC)

与常规ITC任务不同的是：单个图片BLIP2产生的image embedding有32个（等于learned query的数量），而text embedding只有1个。BLIP2的操作是，同时计算32个image embedding与text embedding的距离，仅取最近的计算loss。

下图详细梳理了整体pipeline及对应的shape变化（忽略了batchsize）

Image-text matching (ITM)

图片匹配的整体架构如下图所示。此时会将query embedding与text embedding拼接起来作为输入，送入到QFormer中的Image Transformer中。最后对Qformer在query embedding位置的输出向量取平均后进行预测。下图中详细展示了整体pipeline与shape变化（包含batch size维度）。

Image-grounded Text Generation (ITG)

此处直接用QFormer的text transformer做image caption任务。有一个细节值得注意：作者将图片与文本表征的交互放到了self-attention中。下图是摘取的部分self-attention层代码。

2.2.2 多模态表征理解预训练

通过2.2.1我们得到一个训练好的QFormer，这个QFormer能够实现将图片转为一个32x768（用32个token来表征图像）。2.2.2的任务是让预训练的LLM模型能够理解上述的图片表征，从而借助LLM强大的知识库来实现问答、推理等任务。也就是说，这一阶段我们需要通过训练来赋予图片token能被LLM理解的语义。

这一步的训练比较简单。固定image encoder与预训练的LLM模型，仅训练QFormer和新增的一个投影层。训练任务为language modeling。最终实现QFormer输出的图片表征（论文称之为soft visual prompt）变成LLM能看懂的样子。

3 小结

BLIP2通过QFormer模块与二阶段训练的范式，将目前的视觉backbone与LLM模型链接起来。