跨域小样本系列4：finetune方法解决CDFSL

news2024/9/22 5:36:20

来源：投稿作者：橡皮
编辑：学姐

带你学习跨域小样本系列1-简介篇

跨域小样本系列2-常用数据集与任务设定详解

跨域小样本系列3：元学习方法解决CDFSL以及两篇SOTA论文讲解

跨域小样本系列4：finetune方法解决CDFSL以及两篇SOTA论文讲解（本篇）

跨域小样本系列5：除此之外一些奇门异路的论文讲解

finetune方法解决CDFSL以及两篇SOTA论文讲解

主要贡献：

作者提出了一种新的方法来解决以前的不精确梯度匹配问题，该方法通过对目标样本的不精确梯度进行学习来显著减少不精确梯度匹配。值得注意的是，本文提出的梯度差异最小化是一种广义的学习损失，可以很容易地应用于其他UDA范式。
为了计算目标样本的梯度，作者采用了基于聚类的策略来获得更可靠的伪标签。然后，采用基于伪标签的自监督学习方法，利用源域数据和目标域数据对模型进行微调，以减少模糊目标样本的数量。
作者用上述提出的方法重新改进了原来普通的双分类器对抗框架，并在三个开放的大规模数据集上进行了广泛的实验。实验结果证明了该方法的优越性。

1.框架概述

源域样本和目标域样本都经过生成器G和两个分类器F1和F2。然后利用监督损失最小化源域样本的分类误差。我们使用自监督机制来减少模糊目标样本的数量。对抗性损失的极小极大过程用于检测源域支持之外的目标样本。梯度差异损失进一步用于对齐分布，提高目标样本的精度。

2.算法细节

3.实验结果

收敛性。为验证本文方法的收敛趋势，在图4（a）中报告了源样本的分类损失，该损失是在分类器F1上获得的。图4（b）描绘了训练过程中目标样本的精度曲线。这是C→ I以ImageCLEF为例。数据表明，随着迭代次数的增加，本文方法可以显著减少损失，提高精度，这证明了训练过程是平滑收敛的。

超参数敏感度。本文框架涉及两个超参数α和β，梯度差异损失构成了本文的主要新方法贡献，而自监督损失被用作辅助损失，因此作者将α固定为0.1，根据经验发现α取该值时性能较好。然后将β取值由0逐渐为5，如图5（a）所示。当β在0到1之间时，准确度没有明显下降，当β大于1时，由于梯度差异损失的权重大于源样本上监督学习损失的权重，准确度开始下降。一般来说，本文模型对参数不敏感。

消融实验。为了测试每个模块的有效性，分别在没有自监督学习和梯度差异最小化的情况下进行了实验。如图5（b）所示，与普通双分类器对抗式学习相比，这两个模块都可以显著提高精度，并且当它们一起工作时，模型的性能更好。

CVPR 2022 Oral

该研究首次将布朗距离协方差 (BDC) 这一基于概率统计的相似性度量引入深度学习中。
提出了一种端到端的小样本识别方法 DeepBDC，可适用于不同的小样本学习框架。同时，该研究结合两种不同范式的小样本学习框架对 DeepBDC 进行了实例化，即基于原型网络框架的 Meta DeepBDC 和基于简单迁移学习框架的 STL DeepBDC。
提出的方法在包括一般目标识别、细粒度分类和跨域分类等任务的 6 个标准数据库上都取得了当前最好的性能。

1. 模型概述：

BDC （布朗距离协方差）理论最早是 Gábor 等人建立的，可以表示为随机变量之间的联合特征函数和其边缘分布的乘积之间的欧式距离：

连续表达:

离散表达：

BDC测度的优异特性：1）非负，当且仅当XY独立时等0 2）它可以表征X和Y之间的线性和非线性相关性。3）它对X和Y的单独平移和标准正交变换是不变的，对它们各自的比例因子是相等的。

将该过程实现为一个独立的模块，用于计算每张图像高层卷积特征的 BDC 矩阵。且由于 BDC 矩阵的大小为输入卷积特征维度的二次方，因此为了控制输出维度，该研究引入了一个 1×1 的卷积层进行降维。

计算欧式距离平方矩阵-开平方得到欧式距离矩阵-对距离矩阵减去行均值，列均值以及总体均值得到BDC矩阵.

2.测试设定

如图a所示，Meta DeepBDC 是在 ProtoNet 架构的基础上构建的，通过对支持集图像得到的 BDC 表达进行平均得到了每一类的原型表达，通过计算查询集图像的 BDC 表达和每一类原型表达之间的内积，获得与每类之间的距离，从而进行类别判断。在实验环节，该研究评估了几种不同的获取原型表达的方式。

STL DeepBDC 基于一个典型的迁移学习框架 Good-Embed，使用大量的标注数据进行训练，获得一个更好的基础模型用来得到图像的嵌入特征。在新的类别空间里，通过线性层或者回归器对得到的嵌入特征进行学习，得到一个分类器用于识别。如图b所示，该研究将BDC矩阵当作输入图像的嵌入特征送到尾部的分类器中进行学习，利用交叉熵损失函数进行网络的优化。