---

前言

本文主要介绍和总结了三种不错的$CLIP$微调方法，包括原理和思想，并且按照自己的理解给出了相应的代码实现，相当于是一个简化版的code实现。
所有代码使用$jittor$框架实现，具体代码请请参考👇

Gitlink-Code 或者 Github-Code

---

1️⃣ Tip-Adapter

论文和源码

🔥 论文地址
🚀 代码地址

原理介绍

• 本质上就是在$CLIP$的预测结果$X$上又加上了一个预测结果$Y$，我们都知道结果$X$是测试图像和所有分类文本的相似度之间的关系，而$Y$就是测试图像和训练$CLIP$时的训练图像之间的相似度关系，最终将$X$和$Y$加权求和便得到最终的预测结果，所以可以发现他的优势在于：$Zero-shottransfer（无需额外训练）$

• 下面结合论文给的框架图就能很好理解这个方法（每个变量后面标出了$shape$大小，方便理解）：

  $Tip-Adapter$添加之前：假设分类类别数目是$N$，$W_c^T$是$N$个文本标签经过$CLIP$的$TestEncoder$得到的文本特征，大小$N\times 512$
  输入一张测试图像$I_{test}$ $\stackrel{经过CLIP模型的VisualEncoder之后}{\to }$得到$f_{test}：1\times 512$$\stackrel{和CLIP的TestFeatures作相似度，也就是图中的f_{test}\ast W_c^T}{\to }$得到分类结果（实际上就是和所有文本标签的相似度）$X:1\times N$

  $Tip-Adapter$添加之后：
  上面步骤同样完全相同，得到$X$；
  首先将所有的训练图像$I_K$(假设共有$M$张,$M=C\times N$，$C$是一个系数，因为训练时一般每个类别的图像会有多张)$\stackrel{同样经过CLIP模型的VisualEncoder}{\to }$得到$F_{train}：M\times 512$ ，并作为缓存模型（$cachemodel$）的$key$
  然后将所有训练图像的文本标签经过$OneHot$处理，得到$L_{train}：M\times N$，并作为缓存模型的$value$;到此便构建了一个缓存模型，相当于多了一份存储有训练样本特征的先验信息。
  接着将之前得到的$f_{test}：1\times 512$$\stackrel{送入cachemodel,计算和训练图像之间的特征余弦相似度}{\to }$得到$A=exp(-\beta (1-f_{test}{F}_{train}^T)):1\times M$ $\stackrel{和cachemodel的values相乘，得到预测结果Y}{\to }$$Y=A{L}_{train}：1\times N$
  最后将$Tip-Adapter$的预测结果$Y$和原始$CLIP$预测结果$X$进行加权求和：
  $$\begin{array}{r}\begin{array}{rl}\text{logits}& =\alpha A{\mathbf{L}}_{\text{train}}+f_{\text{test}}{W}_c^T\\ & =\alpha \phi (f_{\mathrm{test}}{\mathbf{F}}_{\mathrm{train}}^T){\mathbf{L}}_{\mathrm{train}}+f_{\mathrm{test}}{W}_c^T,\end{array}\end{array}$$

2️⃣Cross-modal Adaptation（跨模态适应）

论文和源码

🔥 论文地址
🚀 代码地址

原理介绍

• 原理图和伪代码
  
• 该方法的核心思想就是将多种模态的信息融合在一起，并且论文假设$CLIP$可以将不同模态的样本映射到同一个特征空间。比如对于文本-图像这种模态形式，在训练过程中，就可以引入这里的文本信息（也就是每个类别的标签），将其作为额外的训练样本，其实就是将每张图像的图像特征和文本特征视作同一个特征来进行训练。
• 同上面一样，根据伪代码的内容，将维度变换显示出来也非常好理解整个实现过程：
  假设输入的$batch\_size$大小为$b$，分类的类别数为$num\_class$

$$\begin{array}{r}image\_encoder输出的图像特征im\_f：b\times 512\\ text\_encoder输出的文本特征tx\_f：b\times 512\\ 在行维度上将两个特征拼接起来并归一化features：2b\times 512\\ 对应的标签也进行拼接labels：2b\times 512\\ 将features通过一个分类器得到每个类别的预测概率logits:2b\times num\_class\\ 最后logits和labels之间作交叉熵损失，并更新分类器、图像编码器和文本编码器的参数\end{array}$$

注意：在实现该代码进行训练的过程中发现如果按照伪代码中将cross_logits除以一个常量，loss反而会很难下降，相反乘上一个系数loss下降的更好一些。（直接loss=cross_entropy_loss(logits*3.0,labels)即可），否则loss值很难会下降。

3️⃣ FD-Align（Feature Discrimination Alignment，特征判别对齐）

论文和源码

🔥 论文地址
🚀 代码地址

原理介绍

• 原理图：
  
• 论文中提出了一个概念：虚假关联性的鲁棒性，它指的是模型是否具有区分出样本中和类别相关信息（因果信息）以及（背景、风格等）类别无关信息（虚假信息）的能力。同时注意到全微调的CLIP的OOD性能会下降，因此提出了一种不影响模型对虚假特征识别能力的微调方法来保证微调后的模型对虚假关联性的鲁棒性。从模型框架图中看，实际上就是在微调的过程中通过约束微调后的CLIP模型和原始的CLIP模型对虚假特征的分布保持一致，从而在一定程度上避免微调过程中CLIP的OOD性能下降。
• 该方法相对于前两个方法稍显复杂，先熟悉它定义的几个符号意义，再来结合框架图看一下它的整个模型原理：

$$\begin{gathered} 首先假设存在一个小样本数据集D\subset X\times Y，（X表示图像，Y表示标签） \\ 有M个提示模板(P_1,\dots ,P_M)，CLIP模型的text-encoder和image-encoder分别表示为g_0和f_0; \\ 假设任意的一个类别y，那么y的原型表示为：{\mu }_y^{\text{class }}，也被称为类的原型 \end{gathered}$$
$$\begin{array}{r}{\mu }_y^{\text{class }}:=\frac{1}{M}\sum _{j=1}^M{g}_0([P_j,y]).\end{array}$$
因此第一个损失函数${\mathcal{L}}_{\mathrm{class}}$和clip模型中的损失函数本质上相同的，约束图像-文本之间的相似度，只不过这里的文本不在是单个的prompt，而是多个prompt取平均值得到的。
$$\begin{array}{r}{\mathcal{L}}_{\text{class}}=-\frac{1}{|\mathcal{D}|}\sum _{(x_i,y_i)\in \mathcal{D}}\log \frac{\exp (s(f_t(x_i),{\mu }_{y_i}^{\text{class}}))}{{\sum }_{y\in \mathcal{Y}}\exp (s(f_t(x_i),{\mu }_y^{\text{class}}))}\\ 其中，s(:)表示余弦相似度\end{array}$$
$紧接着，定义提示模板（prompt）的原型：每个P_j在所有类中的特征平均值，公式为：$
$$\begin{array}{r}{\mu }_{P_j}^{\text{spurious}}:=\frac{1}{|\mathcal{Y}|}\sum _{y\in \mathcal{Y}}{g}_0([P_j,y])\end{array}$$$$\begin{gathered} 现在希望的是在微调过程中保持模型对虚假相关性的鲁棒性,即保持模型在微调前后提取的虚假特征不变。 \\ 所以需要知道模型在虚假特征上的分布——即将微调模型提取的特征与虚假原型之间的相似度定义为模型虚假特征的分布。 \end{gathered}$$

$因此，计算由微调模型提取的特征和虚假原型之间的相似性，并且如下产生虚假特征的分布：$
$$\begin{array}{r}{\mathcal{P}}_{\text{spurious}}(x;f_t)=\text{SoftMax}\left[s\left(f_t(x),{\mu }_{P_1}^{\text{spurious}}\right),\dots ,s\left(f_t(x),{\mu }_{P_M}^{\text{spurious}}\right)\right]\end{array}$$
$类似地，将f_t换成f_0，可以得到微调前模型的虚假特征分布：$
$$\begin{array}{r}{\mathcal{P}}_{\text{spurious}}(x;f_0)=\text{SoftMax}\left[s\left(f_0(x),{\mu }_{P_1}^{\text{spurious}}\right),\dots ,s\left(f_0(x),{\mu }_{P_M}^{\text{spurious}}\right)\right]\end{array}$$

因此第二个损失函数的作用就是保持微调前后模型对虚假特征概率分布保持一致：
$$\begin{array}{r}{\mathcal{L}}_{\text{spurious}}=\frac{1}{|\mathcal{D}|}\sum _{(x_i,y_i)\in \mathcal{D}}\text{KL}\left({\mathcal{P}}_{\text{spurious}}(x_i;f_t)\mid \mid {\mathcal{P}}_{\text{spurious}}(x_i;f_0)\right)\end{array}$$
综上，最终的损失函数为：
$$\begin{gathered} \begin{array}{r}{\mathcal{L}}_{\mathrm{total}}=\alpha \cdot {\mathcal{L}}_{\mathrm{class}}+\beta \cdot {\mathcal{L}}_{\mathrm{spurious}}\end{array} \\ 论文中取\alpha =1,\beta =20 \end{gathered}$$

更多细节的推导和更准确的表述请参考作者的原论文😀

总结

• 本文介绍了三种CLIP微调方法的原理以及给出了对应的更加简化版代码实现，如果有问题的地方，欢迎评论区指正。
• 三种方法相比较而言，Tip-Adapter最通用，无论是免训练版本还是训练版本，使用之后均有一定的提升效果；Cross-modal Adaptation思路最简单，但是要想有效果，尝试后发现需要针对自己的数据集不断调节参数大小；FD-Align方法在保持CLIP的zero-shot能力方面是几个方法当中最好的；
• 觉得有帮助的话，给个赞吧👋👋👋