论文背景

手指静脉识别系统的性能受到手指静脉训练样本不足的限制，导致特征学习不足和模型泛化能力弱：DCNN 需要大量的数据来学习更抽象的语义信息进行分类。对于指静脉识别，由于每个类别只包含少量样本，极易出现过拟合。原因之一是感知场大小固定在卷积层中的每个位置，缺乏处理几何变换的内在机制。

建立一个更有效的DCNN，使验证误差随训练误差不断减小，并提高模型的泛化能力是一个困难的挑战。

静脉图像的成像原理在于充分利用静脉等生理组织中脱氧血红蛋白对各种波长近红外光吸收率的差异而形成图像。

当使用特定波长（700-900纳米）的近红外线(NIR)光照亮手部时，光穿过表皮进入皮下组织，在那里被散射。散射的近红外光被静脉血中的脱氧血红蛋白严重吸收，导致当由图像传感器成像时静脉图案的位置显示为暗阴影，而其他非静脉图案区域显示为高亮度区域。

在近红外成像中，生物组织具有高度的非均匀性和多重散射介质，不可避免地导致图像分辨率下降。

论文主要内容

（1）提出了一种新的残差Gabor卷积网络。针对手指静脉图像成像过程中存在的分辨率低、对比度低、信噪比低、视觉效果模糊等问题，设计了残差Gabor模块。利用可学习Gabor卷积层增强模型的浅层特征，将其良好的方向和尺度选择性地引入网络，实现脉纹特征的有效增强。通过引入可学习Gabor卷积，将人工特征的特性也引入到模型中，加速模型的收敛，从而解决了模型的过拟合问题，提高了模型的识别精度。

（2）提出了一种新的稠密语义分析模块。在对浅层特征进行Gabor卷积层增强后，经过一系列卷积和池化操作，得到的深层特征包含了更丰富的语义信息。 DSAM利用全局平均池和通道关注机制，进一步分析和提取深层特征映射中的语义信息，然后将这些语义信息放入全连通层，用于辅助最终模型的分类。

（3）提出了一种简单有效的静脉生物特征数据论证策略FV-MIX。通常手指静脉采集系统只针对每个对象采集少量图像，无法为深度学习模型提供足够的数据进行学习。论文提出了一种新的手指静脉图像离线增强策略。通过对单个个体预处理后的ROI图像按比例线性合并，最终可以得到 2^n-1 幅用于训练的指静脉ROI图像（是从单个个体采集的样本数）。

残差Gabor卷积网络

传统的 Gabor 滤波器具有高度的可操作性，可以赋予模型处理空间变换属性的能力。但是，当仅使用固定 Gabor 滤波器时，不能完全利用这种能力。

Residual Gabor convolutional network architecture

首先将训练图像送入RGCL进行浅层特征提取和增强，然后将增强后的特征依次送入后续残差模块进行深层特征提取，并选择第三个瓶颈设计稠密语义分析模块。然后从稠密语义分析模块输出一组富含增强语义信息的特征，连接到最终的全连接层，辅助手指静脉分类。

RGCL是一个残差模块，它使用一层卷积和一层Gabor方向滤波器（GOFs）。

GOF是一种可引导滤波器，由于浅层特征中存在大量的冗余特征，因此利用Gabor滤波器组对学习到的卷积滤波器进行处理，生成增强的静脉模式特征映射。增强的特征图有时会过度增强；因此，残差结构和通道注意机制被用来减轻这种过度增强。

卷积 Gabor 方向滤波器 (GoFs)

Gabor滤波器是有方向和尺度的。将方向信息编码在学习滤波器中，同时将尺度信息嵌入到不同的层中，从而将方向特性融入到DCNN中。 GOFS中利用Gabor滤波器捕捉到的方向和尺度信息，增强了相应的图案、轮廓和边缘特征。

GoFs具体描述在另一篇论文：http://t.csdn.cn/RR2gQ

论文在四个方向（0,Π/4,Π/2,3Π/4）上建立Gabor滤波器来产生调制GOF。对于尺度参数，将GOFS应用于不同尺度下的特征映射，使Gabor滤波器具有良好的尺度选择性。

残差 Gabor 卷积层

GoFs 增强 DCNN 中的浅层特征后，进一步增强了特征图中的模式、轮廓和边缘特征。因此，该模型在学习特定特征方面具有传统机器学习的优势，大大缓解了手指静脉图像样本不足的问题。但是，特征进一步固定化，削弱了DCNN自动选择学习到的特征的能力，模型的退化变得更加明显。

论文将GOFS与调制滤波器相结合，设计了RGCL模块来解决上述问题。

$F_{CA}(\cdot )$ 是作用于不同 GoF 分支的通道注意力。

CAT运算是将调制在不同方向的GOF连接后的特征映射。经1×1卷积（降维）后输出，最终得到RGCL的输出特征映射。论文在每个卷积运算或类卷积运算之后添加了 ReLU 和 BN（解决梯度消失和模型退化）。

稠密语义分析模块

假设浅层特征被增强，那么深层特征同样被激活得更强，包含更明显的语义信息。同时，增强后的特征过于同质，更容易导致梯度消失，因此论文设计了DSAM来进一步提取和分析增强后的特征映射中包含的语义信息。

$F_C ,F_{CA} , F_{AP}$ 分别是全连接层、通道关注(CA)和全局平均池(GAP)的操作。

FV-MIX

通常，手指静脉图像不适合裁剪或大角度旋转增强，数据无法充分转换。同时，无论对单个图像样本进行何种几何变换，其数据信息都保持不变。因此，我们设计了一种简单有效的策略 FVMix 来扩充手指静脉数据。 FV-Mix通过考虑单个分类中的多个样本进行混合，不同于一些通过GAN或风格迁移得到的样本图像，FV-Mix更符合同类样本简单线性融合得到的真实图像的像素分布。

$D_A^i$ 表示通过选择 i 样本进行融合而获得的增强数据子集，D 表示要增强的类的样本集，其中 N 是样本数。𝐹𝑖𝑥(𝐷, 𝑖) 操作表示子集 𝐷 中的每个 𝑖 样本的线性融合来形成集合。 $D_A$ 代表 𝐷 扩充后的全集，包含所有的数据扩充子集。在实际训练过程中，对于单类样本比较多的数据集。