【图像融合】对比度增强结合多尺度边缘保持分解红外与可见光图像融合【含Matlab源码 1886期】

news2024/11/24 9:38:44

⛄一、对比度增强结合多尺度边缘保持分解红外与可见光图像融合简介

1 引言
夜视成像技术在军事与执法领域，如监控，侦查，情报搜集和安保等方面有着重要应用。不同类型的夜视成像传感器在记录同一场景时，在其提供的信息中有部分是冗余的或互补的。图像融合技术可以将可见光图像与热红外图像融合为一幅图像。融合后的新图像能够清晰地显示目标与背景，相比每个单独的源图像融合图像可以提供更多信息。因此，为了获得更适合人感知和计算机处理的夜视图像，有必要对更有效的融合算法展开研究。
近年来，国内外针对像素级图像融合算法做了大量研究，其中以多尺度融合算法居多，如拉普拉斯金字塔、平移不变离散小波变换、contourlet 变换和 ridgelet 变换等。上述方法可以较好地保存不同源图像的细节，但在融合过程中没有充分考虑空间一致性，导致融合图像存在伪影。文献[5]提出一种基于导向滤波的加权平均融合算法，导向滤波用于解决空间一致性问题，但算法中没有考虑多尺度分解，导致丢失源图像中的细节。此外，在夜间拍摄的可见图像中细节的可视较差，若直接融合，得到的融合结果整体清晰度不理想，故在融合之前有
必要增强可见光图像对比度。常用的对比度增强算法有直方图均衡化算法、ACE 算法和多尺度 retinex算法等，但这些算法运算量大或产生伪影。通过动态范围压缩和对比度增强完成对可见光图像的增强，但其不能自适应地增强可见光图像中的细节。针对以上算法存在的问题，本文提出一种改进的图像融合方法。该方法首先在融合之前采用基于导向滤波的自适应增强算法提高夜间可见光图像的细节可视性；其次，利用 RGF(Rolling Guidance Filter)对源图像进行多尺度分解，提取不同尺度下的图像特征，与常规边缘保持滤波器相比，RGF 具有尺度感知特性，其能够更好地实现图像特征的尺度分离；最后，通过权重图重构融合图像。实验结果证明了算法在弱光或非均匀光照条件下有着较好的应用效果。

2 基于导向滤波的夜间可见光图像自适应增强算法
2.1 导向滤波原理
导向滤波是一种基于局部线性模型的边缘保持滤波，包括输入图像 I，导向图 G 和输出图像 O。理论上，导向滤波假设在以像素点 k 为中心的局部窗口 ωk 内，滤波输出为导向图 G 的线性变换：
在这里插入图片描述
ωk 为一个半径为 r 的正方形窗口。在ωk 内线性系数ak 和bk 为常数，其可以通过最小化下列代价函数估
计出：

ε 为正则化参数防止ak 过大。系数ak 和bk 可以直接通过线性回归求出：

ω 为ωk 内的像素点个数，I k 和Gi 分别为图像 I 和图像 G 在窗口ωk 内的平均值，σk2 为 I 在窗口ωk 内的方差。由于像素点 i 包含在若干不同的窗口ωk 中，故式(1)中滤波输出Oi 的值会随着窗口 ωk 的变化而改
变。该问题可通过平均Oi 的所有可能值来解决：
在这里插入图片描述
根据窗口的对称性可得到：

因此，式(1)可改写为

导向滤波由式(3)，式(4)和式(7)构成，当输入图像 I 与导向图 G 相同时，导向滤波表现出与双边滤波相似的保边特性。

2.2 算法步骤
基于导向滤波的自适应增强算法主要包括 3 个步骤：图像分解、动态范围压缩和对比度恢复。
首先，假设源图像为 I，利用导向滤波GF( , X r, )ε 对源图像 I 进行平滑处理，得到图像在对数域
中的基础层：
在这里插入图片描述
然后获取图像的细节层：

式中，lg()⋅ 为自然对数算子，lg 1 ( ) x + 代替lgx 防止对数值为负。至此，源图像已通过导向滤波分解为两个尺度。提取到的基础层保留了源图像的大尺度特征，具有较高动态范围，下一步需要通过比例因子 β 对其进行动态范围压缩，再利用另一因子 γ 恢复整体对比度，以上操作可由式(10)表达：
在这里插入图片描述
从式(10)中可以看出当 β < 1 时仅基础层对比度降低，细节层并未改变，因此细节得以保存。
其他理论简介见参考文献。

⛄二、部分源代码

%% 初始化
clc
clear all
close all
warning off all;
%% 读入图像
I_r=imread(‘IR.bmp’); % 红外光图像
I_v=imread(‘VI.bmp’); % 可见光图像
%% 将彩色图像转换为灰度图像
if size(I_v,3)>1
I_r=rgb2gray(I_r);
I_r=double(I_r);
I_v=rgb2gray(I_v);
I_v=double(I_v);
else
I_r=double(I_r);
I_v=double(I_v);
end