论文： RegionCLIP: Region-based Language-Image Pretraining

代码：https://github.com/microsoft/RegionCLIP

出处：CVPR2022 Oral | 微软 | 张鹏川

一、背景

近期，视觉-语言模型取得了很大的突破，如 CLIP 和 ALIGN，这些模型使用了极大的图文对儿来学习图像和文本的匹配，并且在很多无手工标签的情况下也取得了很好的效果。

为了探索这种思路能否在 region-caption 的情况下起作用，作者基于预训练好的 CLIP 模型构建了一个 R-CNN 形式的目标检测器。

主要思路：

• 先从输入图像中抠出候选区域
• 然后使用 CLIP 模型将抠出的区域和 text embedding 进行匹配

• 图 1 a-b 展示了在 LVIS 上的结果，当使用 proposal 作为输入时，CLIP 的得分无法代码定位的质量，可以看出不准的框得分为 65%，较准的框得分为 55%。
• 图 1b 中对比了使用 gt 框作为输入，CLIP 在 LVIS 框上的分类准确率只有 19%
• 所以，直接将预训练好的 CLIP 拿来用于对 region 的分类不太适合

作者想探索一下这种差别来源于哪里？

• 首先可以想到，CLIP 模型的训练是使用整个 image 作为输入的，使用的是 image-level 的文本描述来训练的，所以，模型学习到的是整张图的特征
• 所以这种模型无法将文本概念和图像中的区域联系起来

本文如何解决 image 和 region 之间的差距：

• 作者通过使用 vision-language 预训练的模型来探索如何学习 region 的表达
• 主要思想是在预训练过程中，将 image region 和 text token 进行对齐

面临的问题：

• image-text pairs 中不包含 image region 和 text token 的对齐关系
• 整张图的文本描述是不全的，也就是图中的有些目标是没有体现在文本描述中的

二、方法

本文的目标是学习一个区域级别的视觉-语义空间，能够覆盖足够丰富的目标词汇且用于开放词汇目标检测

• 假设文本描述 t 能够描述图像 I 中的区域 r
• 在视觉-语义空间，从 r 中抽取到的 visual region representation 能够和 text representation 很好的匹配上

总体框架图如图 2：

• $V_t$ ：CLIP 的 visual encoder， $L$ ：CLIP 的 language encoder
• $V$：本文需要训练的 visual encoder，使用 $V_t$ 进行初始化，
• 我们的目标是训练一个 visual encoder $V$ 类实现对 image region 的编码，并且将这些编码和 language encoder 输出的语言编码对齐
• 为了克服缺少大规模 region 描述的问题，如图 2 底部，作者构建了一个目标词汇池，通过将词汇填入 prompt 来构建 region 的描述，并且借助 teacher encoder $V_t$ 来将这些描述和使用图像定位网络得到的图像区域进行对齐
• 通过使用这些创建的 region-text pairs，visual encoder $V$ 就需要通过对比学习和词汇整理来学习将这些 pairs 对齐

2.1 Region-based Language-Image Pretraining

1、Visual region representation

可以使用现有的目标定位器（如 RPN）或密集滑动窗口 来进行图像区域的生成

作者使用经过人工标注 bbox 训练过的 RPN 来生成，这里不对 bbox 的类别进行区分

• 对于一个输入 batch，使用 RPN 产生 N 个 image regions
• 使用 visual encoder $V$ 进行视觉特征抽取，并使用 RoIAlign 来 pooling，且 $V$ 的权重是使用 teacher $V_t$ 的来进行初始化的

2、Semantic region representation

一个单个的图像通常会包含丰富的语义信息，多个不同类别的目标，且人工标注这么大规模哦对数据也不太可行

所以，作者首先构建了一个大的词汇池，来尽可能的覆盖所有区域词汇，如图 2 所示，而且建立的词汇池是从文本语料库中解析得来的

有了词汇池后，按照如下的方式来构建每个区域的语义表达：

• 第一步，将 concept 填入 prompt 模版（a photo of a kite）
• 第二步，使用预训练的 language encoder L 来得到语义特征表达
• 最后，使用语义编码就能表达每个区域词汇的特征表达 { l j } j = 1 , . . . , C \{l_j\}_{j=1,...,C} {lj​}j=1,...,C​

3、visual-semantic alignment for regions

① 如何对齐 region-text pairs：使用 CLIP 来构建伪标签，即使用 teacher model CLIP 预测的得分最大的 concept 作为该区域的描述

• 作者借用 teacher visual encoder 来建立 region-text 之间的关系，这里的 text 表示语义编码，区域 $r_i$ 的 visual representation $v_i^t$ 是从 teacher visual encoder $V_t$ 中抽取的

• 然后，计算 $v_i^t$ 和 { l j } \{l_j\} {lj​} 的匹配得分，得分最高的就和区域进行关联起来，然后就能得到每个区域的伪标签： { v i , l m } \{v_i, l_m\} {vi​,lm​}

  

② 如何预训练：

• 同时使用来自网络的 region-text pairs 和 image-text pairs

• region-text pairs 就是通过 ① 的方法来创建的

• 拿到上述 region-text pairs { v i , l m } \{v_i, l_m\} {vi​,lm​}，使用对比学习 loss 和蒸馏 loss 来训练 visual decoder，总共包含 3 部分

  

  • region-text 的对比学习 loss 如下，$\tau$ 是预定义的温度参数，$N_{ri}$ 是 region $r_i$ 的 negative textual samples，也就是在一个 batch 中和 region $r_i$ 不匹配但和其他区域匹配的

    

    

  • 除了对比学习 loss 以外，还有考虑每个图像区域的知识蒸馏，蒸馏 loss 如下，$q_i^t$ 是从 teacher model 得到的 soft target，$q_i$ 是 student model 得到的预测

    

  • image-text 的对比学习 loss $L_{cntrst-img}$ 可以从 region level 扩展而来，也就是特殊情况，即 ① 一个 box 覆盖了整张图，② 文本描述来源于网络，③ negative samples 是从其他图像而来的文本描述

零样本推理

预训练之后，训练得到的 visual encoder 可以直接用于 region reasoning 任务，比如从 RPN 获得区域，从训练的 visual encoder 得到该区域的视觉表达，然后和文本词汇表达进行匹配，得到相似度最高的文本

实验证明使用 RPN score 能够提升 zero-shot 推理的效果，所以作者也使用了 RPN objectness score + category confidence score 的均值来作为最终的得分，用于匹配。

2.2 目标检测的迁移学习

预训练中，本文的 visual encoder 是从 teacher model 提供的 region-text alignment 中学习的，不需要人为一些操作，所以也会有一个噪声，当引入更强的监督信号（如人为标注 label）时，可以进一步 fine-tuning visual encoder，如图 2

如何将预训练网络迁移到目标检测器呢，作者通过初始化目标检测器的 visual backbone 来实现，先使用现有的 RPN 网络来进行目标区域的定位，然后将区域和文本匹配

开放词汇目标检测：

• 对基础类别，使用类似于 focal loss 的加权权重 $(1-p^b)\gamma$，$p^b$ 是预测的概率，$\gamma$ 是超参数，该加权权重能缓解模型对预训练中的知识的遗忘，尤其是当数据集中有很少的基础类时（如 coco），作者猜测如果基础类别很少，模型可能会对基础类别过拟合，对新类的泛化能力会降低
• 对背景类别，作者使用固定的 all-zero 编码方式，并且使用预定义的权重

三、效果

3.1 数据集

预训练时，作者使用：

• 来自于 Conceptual Caption dataset (CC3M) 的 image-text pairs，包括 300 万来自网络的 pairs
• COCO Caption（COCO Cap），包含 118k images，每个 images 约有 5 个人工标注的 captions
• 作者从 COCO/CC3M 中抽取了目标词汇，过滤掉了出现频次小于 100 的词汇，得到了 4764/6790 个词汇

为了开放词汇目标检测的迁移学习，作者使用 COCO 数据集和 LVIS 数据集的基础类来训练。

• COCO：48 个基础类，17 个新类
• LVIS：866 个基础类，337 个新类

作者使用目标检测标准测评：AP 和 AP50

• COCO：使用 AP50 测评新类、基础类、所有类
• LVIS：rare 类也就是 novel 类，即测评新类的 AP (APr)、基础类的 AP (APc/APf)、所有类的 AP (mAP)

3.2 实现细节

1、预训练

• teacher model 和 student model ：都是预训练的 CLIP（ResNet50）
• RPN：使用 LVIS 的基础类别训练
• 默认模型：使用 CC3M 数据集，使用从 COCO Cap 解析出来的词汇
• 优化器： SGD、batch = 96、learning rate = 0.002, maximum iteration = 600k、 100 regions per image.

2、目标检测迁移

• 使用 detectron2 基于 Faster RCNN [42] with ResNet50-C4 结构作为检测器
• RPN：使用目标数据集的基础类别来训练
• SGD：batch=16，initial learning = 0.002，1x schedule
• focal scaling：$\gamma =0.5$

3、目标检测零样本推理

• RPN：使用 LVIS 的基础类别训练得到的 RPN
• NMS：threshold=0.9
• $\tau =0.01$

3.3 结果