ICD-Face: Intra-class Compactness Distillation for Face Recognition

摘要

        在ICD-Face中，首先提出计算教师和学生模型的相似度分布，然后引入特征库来构造足够多的高质量的正对。然后，估计教师和学生模型的概率分布，并引入相似性分布一致性（SDC）损失来提高学生模型的类内紧致性。

网络模型

ICD-Face，其中包含用于FR提取的特征一致性提取（FCD）和类内紧凑性提取（ICD）。

        首先，在大规模数据集上训练教师模型。然后，在学生模型的提取过程中，提取每个人脸图像的教师和学生模型的基础上的特征嵌入。在FCD中，基于特征嵌入的L2距离计算特征一致性蒸馏（FCD）损失Lfcd。同时，在ICD中，首先根据从当前批次中提取的特征和特征库中存储的特征生成正对。然后，计算相似性分布的一致性损失，以提高学生模型的相似性分布的类内紧凑性。

特征一致性提取

类内紧密蒸馏

（1）相似性分布生成

（2）相似性分布一致性

        采用KL散度DKL来约束学生和教师模型之间的相似性分布，其定义为以下相似性分布一致性（SDC）损失：

        

总损失：