Medical image fusion based on quasi-cross bilateral filtering

（基于准交叉双边滤波的医学图像融合）

图像融合技术是利用特定的算法从多幅图像中提取并融合特征，然后将它们组合成一幅图像的方法。然而，目前的图像融合方法大多不能在融合性能、时间消耗和模型复杂度之间取得平衡。首先，在经典的双边滤波算法中，像素域原本只有单幅图像的像素值，无法获得该图像相对于另一幅源图像的唯一信息，导致融合图像中病变信息的部分丢失。针对上述问题，提出了一种基于准交叉双边滤波（QBF）的图像分解方法。将图像分解为具有纯强度信息的能量层和具有丰富细节的结构层。然后，利用视觉显著性检测图（VSDM） 指导能量层的融合，充分利用边缘轮廓提取，提高融合图像的边缘轮廓锐度，并充分保留图像细节信息。采用改进的多级形态学梯度（IMLMG） 结合基于八邻域的加权和修正拉普拉斯算子（WSEML） 指导结构层的融合，有效提高了融合图像轮廓边缘的清晰度。最后，为了评价所提出的融合方法的性能，采用所提出的方法对6组医学图像进行了融合，并通过主观视觉和客观质量评价对融合质量进行了评价。

介绍

医生从单模态医学图像中获取的患者信息有限，在进行临床诊断时，往往需要参考患者的病理信息，联合机患者不同模态的临床图像进行诊断。因此，从临床应用的角度来看，医学图像融合的重要性怎么强调都不为过。
图像融合过程包括图像分解、特征融合和图像重建。图像分解的充分性决定了源图像的特征信息能否被充分提取。特征融合是图像融合的另一个重要方面。针对不同的分解层选择合适的融合方法是图像融合成功的重要一步。随着多尺度分析、稀疏表示、深度学习等图像理论研究的不断深入，图像融合技术也取得了长足的发展。多尺度分解（MSD） 是图像融合领域中应用最广泛的分解方法。典型的基于MSD的方法包括基于金字塔的算法、基于小波的算法、基于非下采样剪切波的算法和基于非下采样轮廓波的算法。Burt和Adelson首次将拉普拉斯金字塔变换用于图像融合，开创了图像融合的多尺度变换（MST）方法。然而，拉普拉斯金字塔变换方法对噪声敏感，没有方向性，在重建期间具有差的稳定性，并且金字塔的层之间具有冗余。因此，Burt在1992年开发了梯度金字塔。通过在梯度方向上对高斯金字塔的分解层进行滤波，在每个分解层上获得0◦，45◦，90◦和135◦四个方向的详细图像。该算法抗噪能力强、稳定性好、运算速度快，但同时存在细节和边缘丢失的问题。
为了解决融合图像中的光晕伪影问题，Kou等人提出了一种边缘保持平滑金字塔算法，并针对算法复杂度高的问题提出了混合平滑金字塔算法，在一定程度上平衡了算法复杂度与融合图像质量之间的关系。Yan等人然后通过两尺度分解将图像分解为细节和基本结构，并提出了一种八度高斯金字塔框架，该框架保留了原始图像的细节信息和结构信息。一般来说，简单的金字塔变换很难用于复杂的图像融合，而小波变换由于其方向性和局部性，可以有效地保留细节信息，解决金字塔变换的缺点。因此，近年来，出现了许多基于小波变换的扩展方法，包括多小波变换，平稳小波变换和形态小波变换，它们可以提供额外的纹理信息。四元数小波变换方法由于其良好的变幅纹理信息和丰富的几何信息而上级一般小波变换方法。离散小波变换方法通过滤波器组合对源图像进行多尺度分解，具有尺度间高度独立性和保留纹理边缘信息的特点。Ranchin等人是第一个使用离散小波良好的时频特性进行图像融合的人。
Rocker O在多传感器动态图像融合过程中使用离散小波框架。与小波变换相比，这些变换能更好地描述图像的方向和边缘特征，解决了小波变换在高维空间不能最优逼近信号的问题。然而，离散小波变换方法也有缺点，包括振荡、混叠、移位误差和缺乏方向选择性。由于这些原因，开发了双树复小波变换方法，并抑制了频率混叠。双树复小波变换方法克服了离散小波变换方法的方向性不足，冗余信息少，计算效率高。为了解决小波变换中的环状伪影问题，Ashish等人采用基于结构相异性度的定量测量方法对小波融合后的环状伪影进行测量，并提出了两种解决方案来补偿环状伪影，取得了良好的效果。
小波变换方法不仅不能像金字塔变换方法那样产生图像块效应，而且具有高信噪比。此外，小波变换提供了完整的图像重建，减少了图像分解过程中的信息冗余。而小波变换表达了源图像中的部分方向信息;从而丢失了一部分图像细节。因此，Da等人提出了非下采样轮廓波变换（NSCT）方法，该方法克服了轮廓波变换方法的频谱混叠问题，因为没有下采样过程。NSCT减少了图像中的Gibs现象，增强了对图像细节信息的表达能力。然而，NSCT的非下采样操作增加了转换数据中的冗余，而逆变换过程中的非下采样操作导致计算复杂度高和计算效率低。这使得它不能满足实时应用的要求。
为了满足实时应用的要求，伊斯利等人。[18]开发了非下采样剪切波变换（NSST）方法，该方法具有更快的计算速度。NSST与NSCT的相似之处在于，它将非下采样金字塔变换与几个不同的剪切波滤波器相结合，以提供多尺度和多方向的分解。由于其对方向滤波器的小支持区域，非下采样金字塔减少了Gibbs现象的发生并提高了计算效率。在基于NSST融合方法的方法中，Kong等人]引入了区域平均能量和局部对比度的融合规则，以最大限度地发挥空间域分析的优势。
Gao等人优化了非下采样Contourlet变换，并将其应用于红外图像和可见光图像的融合，并使用深度残差神经网络ResNet152提取低通分量的深度特征。非下采样多尺度多方向几何变换分解后的子带图像大小与源图像大小相同。这有利于图像特征的提取和后续融合规则的设计。然而，由于在NSST分解中引入了非下采样金字塔变换，高频子带图像的细节丢失，图像的亮度降低。
除了上述常用的MST方法之外，卷积稀疏编码（CSC）也是一种广泛使用的基于变换的分解方法，用于图像分类、图像识别、图像特征提取、多模态信息融合以及其他用途，这是由于其强大的性能和鲁棒性。在CSC模型中，通常使用迭代软阈值算法来优化模型，但模型的结果依赖于超参数。因此，CSC模型和迭代软阈值算法一般被扩展到字典卷积单元，并共存于神经网络的隐层。在此基础上，Xu等人分别提出了用于红外和可见光图像融合、多曝光图像融合和多模式图像融合的深度CSC网络。Zisselman等人还提出了一种适用于多聚焦图像融合的卷积稀疏编码局部块坐标下降算法，与传统的全局算法相比具有更快的收敛速度。对于基于CSC的方法，训练具有强聚焦区域识别的紧凑、冗余和稳定的字典仍然具有挑战性。
随着深度学习算法的发展，卷积神经网络（CNN）已应用于许多计算机视觉研究，如图像去噪，图像检索，语音识别和人类行为识别。CNN主要由卷积层，收敛层和激活层组成。图像处理技术的发展推动了深度学习技术在图像领域的研究和应用。Zhen等人提出了一种基于形状分割和CNN温度提取的多源图像融合算法，该算法对可见光和红外图像进行了出色的融合。Fu等人提出了一种基于滚动引导滤波器和深度卷积神经网络的医学图像融合方法。虽然这种方法在图像融合方面取得了一定的进展，但在图像处理过程中不可避免地会产生噪声，影响融合质量。为了克服多聚焦图像融合问题，Wang等人优化了网络设计，使用亚像素卷积处理融合图像，获得超分辨率融合图像，并在现有图像融合网络的基础上引入了感知损失函数优化网络。此外，Liu等人。[33]在红外和可见光图像融合的研究中使用CNN生成活动水平测量和融合规则。实验结果表明，基于CNN的算法优于传统的基于空域变换的算法。然而，现有的基于CNN的方法需要相当长的时间。Zhao等人通过从源图像中的邻域信息中识别聚焦和散焦区域或像素，在多聚焦图像融合过程中快速获得更好的融合效果。此外，所提出的方法的融合性能比传统的基于CNN的方法高80%。为了克服现有方法对比度低、颜色失真的缺点，Huang等人提出了一种基于局部拉普拉斯金字塔深度卷积神经网络的图像融合方法，该方法使用深度神经网络从解剖图像中提取超分辨率图像，使用卷积神经网络将源图像映射到特征图中，并基于局部能量整合系数。这在保留颜色和结构信息方面非常有利。虽然CNN已经广泛应用于各种图像处理领域，但CNN不能用于空域，很多方法只使用CNN生成决策图的一部分。更准确地说，我们不能直接将CNN应用于医学图像融合。为了解决这个问题，Wang等人提出了一种新的基于NSCT域的CNN医学图像融合方法，该方法对源图像进行分解。然后，针对不同的频率子带构造两个不同的CNN，分别生成决策图，再根据相应的决策图对这些频率子带进行融合，解决了CNN不能直接用于MIF的问题。Li等[37]针对目前基于深度学习的融合算法难以设计合适的融合规则解决特征提取困难的问题，提出了一种独特特征引导的多尺度增强医学图像融合网络MSENet。融合结果表明，该方法能提供较好的融合图像。但是，特征提取所需的时间比其他深度学习方法稍慢。
不可否认，在过去的二十年中，基于MST的图像融合方法以螺旋式的方式不断改进，然而，传统的多尺度分解方法并不适用于源图像受噪声影响的图像融合。在这种情况下，传统的多尺度分解需要至少三个尺度来获得令人满意的融合，但由此带来的负面影响是时间复杂度提高，并且它不能应用于实时图像融合场景，或基于传统MST的图像融合。因此，研究人员正在探索快速有效的分解方案。因为分解的目的是将源图像分解成互补的低频和高频数据，低频数据是从源图像中去除纹理和其他细节之后的图像，这使得图像处于模糊状态。因此，可以通过滤波器来获得模糊图像，该滤波器近似图像中的低频数据，然后可以通过源图像与模糊图像之间的差来获得高频数据。目前，已有许多学者进行了这方面的研究，包括Zhang等人[38]，他们成功地解决了保持红外图像热目标区域的问题，使用平均滤波将源图像分解为包含纹理细节梯度变化的高频数据和包含图像背景特征的低频数据。然而,平均滤波方法不能完全过滤掉低频的纹理细节信息,导致分离高频信息没有达到预期的效果。出于这个原因,Li等人[39]提出了一种基于联合双边滤波的双尺度分解方法，该方法在高斯滤波的基础上考虑了像素范围的影响。该方法保留了能量层（EL） 的非线性强度信息，利用极大值原理融合EL，利用结构张量检测结构层（SL） 的梯度信息和纹理细节，利用局部能量算子提高整体亮度和对比度。总体而言，该方法快速、有效、易于理解、鲁棒性强，但不适用于大源图像，一些学者使用滤波器联合模型来解决医学图像中的实际问题。在未来，纹理滤波的附加方法可以用于将图像分解成包含纹理细节的SL和包含纯强度信息的EL。

因此，本文在C. Tomasi等人的文献基础上，考虑了待融合的多幅图像对应像素值之间的关系，提出了一种分解方法，即准交叉双边滤波该方法能够充分提取图像的局部和唯一细节，并能够提取结构层中焦点的轮廓。该方法将图像分解为具有纯强度信息的EL和具有细节信息的SL。引入VSDM引导的加权平均技术对EL图像进行融合，减弱了加权平均技术融合EL图像时造成的边缘丢失和对比度下降。对于SL，我们使用IMLMG和WSEML来指导SL的融合。通过对EL融合分量和SL融合分量进行重构，得到最终的融合图像。为了实验验证所开发的方法，我们从我们的数据库中选择了六个不同的模态组合的医学图像。实验结果表明，QBF能增强原始图像中焦点的轮廓，使最终融合图像对焦点有较好的融合效果。据我们所知，该实验是医学图像中最全面的图像融合实验。

贡献：

1）本文提出了一种改进的双边滤波算法，即准交叉双边滤波算法，用于提取医学图像的特定细节。在经典的双边滤波算法中，像素域原本只有单幅图像的像素值，而QBF算法同时引入了所有待融合图像的像素值。该方法能充分提取图像的局部细节和独特细节。
2）引入VSDM来指导EL的融合，提高EL融合图像的对比度，减弱图像的背景信息，改善融合图像的细节。提出了一种新的IMLMG结合WSEML来指导融合SL。该方法充分利用了边缘轮廓提取的优点，提高了融合图像轮廓边缘的清晰度，并充分保留了细节。

方法

本文提出了一种基于QBF的多模态医学图像融合方法。该方法利用QBF对原始图像进行滤波，结合互补模式的独特特性，将原始图像分解为能量层和结构层。分解效果明显优于现有的交叉双边滤波，特别是在焦点区域。对于能量层的融合方法，我们使用VSDM方法提取权值图，并使用一种高效的加权平均方法进行能量层的融合。对于结构层的融合方法，改进了传统的多尺度形态梯度模型，并联合WSEML方法指导结构层的融合。最后，将融合后的能量层和结构层进行合并，得到最终的融合图像。该模型的融合框架如图1所示。为了更清楚地解释模型的原理，我们只使用两幅灰度图像作为模型的输入。值得注意的是，我们的模型也适用于多输入的情况下，表现出良好的兼容性。

Detailed fusion model

Image decomposition

目前，大多数图像分解方法都是基于现有的MST分解方法，例如金字塔分解，小波分解，NSCT和NSST等。这类分解方法虽然能够在一定程度上分解图像特征的组成部分，如边缘和角点等，但分解尺度一般都在3个尺度以上，不能满足快速分解的需要。因此，一些研究者提出了一种基于边缘保持平滑滤波的图像分解方案。所使用的滤波器包括均值滤波、引导图像滤波、属性滤波、交叉双边滤波、双边滤波和共生滤波。在边缘保持平滑滤波方法中，基于引导图像滤波的方法在图像中产生光晕，而基于均值滤波的融合方案经常表现出边缘损失。基于加权损失平方和引导图像滤波相结合的融合方案。基于共生滤波器的融合方法存在融合效率低、对图像背景信息保留不足等缺陷。基于双边滤波和交叉双边滤波的融合方法在融合图像中产生梯度反转伪影。因此，本文提出了一种改进的双边滤波算法来提取原始图像的独特细节。在经典的双边滤波算法中，像素域原来只有单幅图像的像素值，而改进的算法考虑了待融合图像对应像素值之间的关系。该方法能充分提取图像的局部细节和独特细节。一般来说，图像的EL可以从图像的整体平滑操作生成。在该过程中，通常需要执行整体过滤。滤波器通常选择高斯滤波器，但高斯滤波器不能进行选择性平滑滤波，只能实现全局平滑。以这种方式，图像边缘处的强度信息经常丢失，导致EL和SL的不完全分离。
双边滤波器由高斯滤波器改进而来，同时考虑了空间邻域信息和灰度相似性。
双边滤波后的图像可以通过以下公式计算：

其中k_p是归一化常数，g_σd和g_σr分别表示空间位置和像素大小的滤波核。σ_d和σ_r表示空间位置和像素大小的标准偏差。I（i，j）表示像素点坐标为I（x，y）的邻近像素。Ω表示应用于图像I的滤波窗口。一般来说，高斯滤波器起到的是降噪和平滑的作用，但是包含强度信息的图像边缘也被平滑了，这是我们不希望看到的。基于传统双边滤波的融合算法对源图像采用相同的分解方法。该方法虽然能提取源图像的大部分局部弱细节，但不能提取待融合图像的独特细节，导致后续融合过程丢失了原图像的独特细节。因此，本文提出了一种改进的双边滤波算法来提取原始图像的独特细节。具体表达方法如式（5）和式（6）所示。

I_β表示要与源图像I融合的另一源图像。通过输入σ_d和σ_r的适当值，可以获得滤波图像I_E。从公式（5）可以看出，图像I和图像Iβ的相同特征信息将被过滤，而不同的特征信息将被保留。因此，通过使用QBF，可以保留源图像特有的细节。同时，滤波图像I_E可以近似地被视为包含纯强度信息的能量层。
图像I的结构层I_s和能量层I_E可以通过公式（7）获得：

The fusion rule of the EL and SL

通过应用上述分解方案，图像被分解成具有纯强度信息的EL和包含边缘、角和纹理的SL。为了获得融合层所包含的信息，必须设计有效的融合规则。

The fusion rules of the EL

对于基于MSD的融合方法，当EL和SL被充分分解时，EL将仅包含平均信息。因此，对于能量级信息融合，应用传统的“平均”融合规则就足够了。因此，传统的基于MSD的算法采用这个简单的规则来融合EL。然而，融合规则没有充分利用EL提供的信息，导致融合图像中的对比度损失。因此，我们应用了一种独特的基于VSDM的加权平均技术来融合基层，这部分地补偿了对比度的损失。
视觉显著性方法分为自下而上和自上而下方法。一般来说，自下而上的方法在任务开始之前就知道目标的特征。该方法基于人脑，其中先验知识是类似于现有的基于训练的对象检测方法的主动过程。另外，自上而下的方法通常被称为外在致动，并且通常基于人类对外部刺激的响应，例如物体的颜色、亮度、形状或运动，这是一种强迫感知的过程。
VSDM是计算机视觉研究的一个重要方面。VSDM模仿人类对视野中最显著的区域、结构或对象的选择，这些区域、结构或对象通常被称为“显著点”或“感兴趣点”。研究人员经常使用该模型来研究各种计算机视觉和计算机图形处理问题。鉴于此，我们希望利用VSDM的特性来指导EL的集成。
随着人们对突出敏感信息查看图像时,如颜色,质地,和强度,它被称为空间在学术界的关注。VSDM集原始图像灰度值较高和较低的背景灰度值的形式一个灰色­规模的形象。因此，本研究采用图像颜色统计的方法来计算空间视觉显著性，并结合一种新的加权平均技术来融合EL。具体计算过程如下：
首先，图像U中的像素U_k的显著性值被定义为：
该公式也可以写为：

其中N表示图像U中的像素的总数。如果‖‖中的两个像素具有相同的像素值，则它们具有相同的显著性值，并且上面的公式可以转化为：
其中J表示像素强度，并且S_j是图像U中像素值U_j的出现频率。
vsdm_A和vsdm_B是输入图像的VSDM，通过加权平均可以得到EL的融合图像：

如果两幅图像的EL在某些位置具有相等的VSDM，则通过对EL进行平均来获得融合图像。如果vsdm_A > vsdm_B，则融合图像将包含来自I_EA的更多信息，并且当vsdm_A< vsdm_B时，融合图像将包含来自I_EB的更多信息。

Fusion rules for SL

图像的纹理信息和边缘细节主要存在于SL中。因此，我们提出了一个SL融合策略，结合MLMG和WSEML。然而，当我们应用MLMG从灰度图像中提取边缘信息时，传统的MLMG在提取边缘时效果不佳，而且边缘与其他细节信息之间经常会出现混淆。在此基础上，在MLMG算法中加入erosion操作，能更好地提取边缘轮廓，具有较好的鲁棒性。我们称之为改进的多级形态学梯度（IMLMG），它可以充分提取边缘轮廓具有更好的鲁棒性。将IMLMG与WSEML相结合，充分保留了细节信息，丰富了边缘信息，提高了融合图像轮廓边缘的清晰度。在本节中，我们首先介绍了该方法，并提供了融合规则的细节。
MLMG是一种基于数学形态学梯度法的算法，是一种基于形态学结构元素的图像分析工具，能有效反映图像的边缘信息。数学形态学的基本操作包括腐蚀和膨胀。其中腐蚀运算符号为⊙，膨胀运算符号为⊕，两个运算符定义为：
f（x，y）和SE（i，j）分别表示输入图像函数和结构元素函数。对该区域进行灰度膨胀运算，使区域内的微小孔隙消失，并由该公式求出由结构元决定的f + SE的最大值。侵蚀操作可以平滑粗糙区域的边界，并用于选择由结构元素确定的f - SE的最小值。
为了构造MLMG函数，我们首先构造多尺度元素：
SE1是最基本的结构元素,n是数量规模。我们可以将这个函数应用到多尺度场景通过修改结构元素的大小。T代表数量规模。
接下来，可以使用图像处理中常用的形态学梯度算子从图像中提取尺度为k的梯度特征：

为了消除细微的噪声，我们改进了公式（14）并添加了erosion操作：
为了证明IMLMG的边界检测能力，我们使用灰度图像来演示。
最后，获得最终IMLMG结果（16）如下：

IMLMG对边缘检测具有更好的效果，如图2（c）所示。图2（a）是实验中使用的原始灰度图像，而图2（b）是通过传统MLMG方法获得的边缘检测图像，图2（c）是通过IMLMG方法获得的边缘检测图像。改进后的方法具有更好的边缘检测效果。
为了确定当选择尺度数k时的最佳性能，我们进行了比较实验，其中k为1-5。比较结果示于图3中。图3（a）是灰度图像，并且图3（b-f）是对比度图像。我们观察到，当k为4时，细节和边缘被很好地保留。
为了充分保护SL的结构和细节信息,我们使用WSEML提取SL的结构和细节。与传统的加权局部能量相比,这个函数有更高的计算效率和更强的能力来提取细节,定义如下:

W是一个矩阵与边长(2 r + 1)和r是重量半径。每个元素W的值设置为2^2r-d和d是距离中心附近的元素。EML是基于Nayar提出的改进的Laplacian方法，该方法增加了对角线的方向导数并增加了权重系数。EML如下：
SL信息的最终有效值可以通过将IMLMG乘以WSEML来实现：
SL的最终信息融合规则如下：
为了进一步详细描述图像的结构特征，通过以下公式将m（x，y）进一步细化为m’（x，y）：

其中Ω是以（x，y）为中心、大小为T × T的局部区域。i的值是A和B。SL的融合图像Fs可以通过图像A和图像B的结构层的加权平均来获得：

Reconstruction

最后用算术方法得到的融合图像添加EL和SL的融合图像。

Why is the decomposition scheme of QBF feasible?

图像分解在图像融合过程中一个重要方面,它直接决定了融合图像的质量。如何­,现有的基于过滤器的性能分解方法是有限的,不能分解和重点区域代用­有效。因此,双边滤波的基础上,提出了一种QBF的分解方法,它继承了双边滤波的边缘检测的有效性。虽然模糊图像,它考虑了不同与其他图像融合,并反映出这种差异突出的焦点。

图4的第一行是原始医学图像,所有这些都显示明显的病变区域。第二行是结构层­保留的BF,第三行是CBF获得的结构层。我们注意到BF得到的结构层亮度较低，病变区域不明显，缺失病变区域，而CBF得到的结构层亮度虽然增强，但病变区域的检测能力有限。图4中的第四行示出了通过QBF获得的结构层，其捕获图像中的结构信息、边缘信息和细节信息。可以清楚地看到,图中的病变区域的检测能力得到了增强。我们展示一维像素信号获得从四个图像,并显示结果如图5所示。
图5(a)-(d)对应于图4的数据中第一个第四列。图中绿色曲线表示BF对应的结构层像素，蓝色曲线表示CBF对应的结构层曲线，红色曲线表示QBF对应的结构层曲线。这些像素曲线都通过图中的焦点区域。对比后可以发现，QBF得到的结构层能够明显增强结构层中病变区域的显示，同时也能够增强图中其他边缘细节。因此，我们可以认为，QBF在图像分解方面优于BF和CBF。上述三种分解方法均使用相同的实验参数（参见图6）。