Abstract:

摘要：拜耳滤色器阵列的彩色图像去马赛克是获取高质量彩色图像的重要图像处理操作。 最近，基于残差插值（RI）的算法已经证明了比传统的基于色差插值的算法更优越的去马赛克性能。 在本文中，我们提出了自适应残差插值（ARI），它通过自适应地组合两种基于 RI 的算法并在每个像素处选择合适的迭代次数来改进现有的基于 RI 的算法。 这些是根据评估基于 RI 的算法有效性的统一标准来执行的。 使用标准彩色图像数据集的实验比较表明，ARI 可以将现有基于 RI 的算法的颜色峰值信噪比提高 0.6 dB 以上，并且可以超越基于训练图像的最先进算法。 我们进一步将 ARI 扩展到多光谱滤波器阵列，其中排列了三个以上的光谱带，并证明 ARI 在多光谱图像去马赛克任务中也能实现最先进的性能。

1. Introduction

目前的彩色数码相机广泛使用带有滤色器阵列（CFA）的单图像传感器，其中每个像素仅记录RGB值中的一个像素值[1]。 另外两个缺失的像素值是通过称为去马赛克（或去马赛克）的插值过程根据记录的 RGB 值马赛克数据估计的[2-5]。 图 1a 说明了去马赛克过程，该过程对于使用彩色数码相机获取高质量彩色图像起着至关重要的作用。

最广泛使用的 CFA 是拜耳 CFA [6]（图 1b），针对该算法提出了多种去马赛克算法 [2-5]。 图 2 显示了标准彩色图像数据集上代表性算法的颜色峰值信噪比 (CPSNR) 性能 [4]。 CPSNR 性能不断提高，表明对更高精度的去马赛克算法的持续需求。

作为最近的趋势，基于残差插值（RI）的算法已经证明了卓越的去马赛克性能[8-12]。 基于RI的算法的一个关键特征是在残差域中执行插值，其中残差被定义为暂时估计的像素值与相应的观察到的像素值之间的差。 论文[10,12]表明残差通常比传统的色差变得更平滑，有助于更准确的插值。 RI 最初在[8]中提出（表示为原始 RI（在第 1 节和第 2 节中，粗体字体用于表示图 2 中比较的算法的缩写名称。此后，我们可能会省略名称的完整符号） 符号的简单性。）），然后以最小化拉普拉斯版本（MLRI [9,10]）或迭代版本（IRI [11,12]）进行扩展。 最近的算法，例如 ECC [13] 和融合回归 (FR) [14,15] 也使用基于 RI 的算法来帮助提高去马赛克性能。 基于 RI 的算法框架将在第 3 节中进行回顾。

在本文中，我们首先提出了拜耳 CFA 的自适应残差插值（ARI）。 ARI 通过引入自适应方面改进了现有的基于 RI 的算法，如下所示。 (i) ARI 在每个像素处自适应地组合 RI 和 MLRI，以及 (ii) ARI 为每个像素自适应地选择合适的迭代次数，而不是像 IRI 中那样对所有像素使用公共迭代次数。 这些是根据评估基于 RI 的算法有效性的统一标准来执行的。 图 2 表明，ARI 可以将现有基于 RI 的算法的 CPSNR 提高 0.6 dB 以上，并且可以超越基于训练图像的最先进算法，例如 LSSC [16] 和 FR [14,15]。

接下来我们考虑多光谱图像去马赛克的任务。 CFA 和去马赛克技术可扩展到使用单个图像传感器的多光谱成像 [17]。 硬件上唯一需要的修改是将 CFA 替换为多光谱滤波器阵列 (MSFA)，其中排列了三个以上的光谱带。 图 1c 显示了具有代表性的五波段 MSFA，由可见光谱中的典型 RGB 波段以及附加的橙色和青色波段（分别表示为 Or 和 Cy 波段）组成 [7]。 CFA 的多光谱扩展因其紧凑且低成本的多光谱图像采集潜力而引起了越来越多的关注。 然而，由于 MSFA 中每个光谱带的采样非常稀疏，MSFA 的去马赛克过程提出了一个具有挑战性的问题。 为了应对这一挑战，我们考虑到图 1c 的五波段 MSFA，扩展了我们提出的用于多光谱图像去马赛克的 ARI。 使用多个多光谱图像数据集进行的实验比较表明，ARI 在多光谱图像去马赛克任务中也能实现最先进的性能。

本文的早期版本发表于[18]。 本文提供了三个主要的扩展。 首先，我们通过将 ARI 不仅纳入 G 波段插值（如[18]中执行），还纳入 R 和 B 波段插值，提高彩色图像去马赛克中 R 和 B 波段的去马赛克精度。 其次，我们将 ARI 扩展到多光谱图像去马赛克，并证明 ARI 可以实现最先进的性能。 第三，我们包括对我们的算法的详细解释以及与现有算法的广泛实验比较。

本文的其余部分组织如下。 第 2 节简要回顾了现有的拜耳和多光谱去马赛克算法。 第 3 节概述了基于 RI 的算法的框架。 第 4 节解释了我们为拜耳 CFA 提出的 ARI。 第 5 节扩展了用于多光谱图像去马赛克的 ARI。 第 6 节介绍实验结果，第 7 节总结本文。

2. Related Works

2.1. Bayer Demosaicking Algorithms

已经针对 Bayer CFA 提出了多种去马赛克算法。 在参考[19]中分类良好的评论时，我们将现有算法分为几类。

基于插值的算法首先对 G 波段进行插值，其采样密度是 R 和 B 波段的两倍。 然后，基于颜色比率（即 R/G 和 B/G）或颜色的假设，将 R 和 B 波段插值到颜色比率 [20-22] 或色差域 [23,24] 中。 差异（即 R-G 和 B-G）在图像的局部区域内是平滑的。 在实践中，由于色差特性稳定，因此比色比更常用[25]。

基于插值的算法主要致力于使用结合水平和垂直方向两个插值结果的定向插值来提高G波段的插值精度。 基于这样的主要一致软决策（PCSD [26]）、CIE Lab 颜色空间上的同质性度量（AHD [27]）、方向线性最小均方，有效地组合两个结果（或选择一个结果） -误差估计（DLMMSE [28]）、色差方差（VCD [29]）、方向滤波和后验决策（DFPD [30]）、异质性投影硬决策（HPHD [31]）、局部多项式近似 （LPA [32]）、集成梯度（IGD [33]）、色差梯度（GBTF [34]）和多尺度颜色梯度（MSG [35]）。 一些算法一次性或迭代地更新插值像素值（SA [25]、HEID [36] 和 ESF [37]）。 还使用非局部自相似性（SSD [38,39]、NAT [40] 和 AICC [41,42]）或两个以上方向（CS [43]）。 该算法（ECC [13]）有效地结合了频带无关和色差插值结果。

近年来，基于 RI 的算法表现出了卓越的去马赛克性能。 基于 RI 的算法还首先对 G 波段进行插值。 然后，他们根据内插的 G 波段生成 R 和 B 波段的初步估计（分别表示为 ˇR 和 ˇB）。 然后，计算残差（分别表示为 R- ˇR 和 B- ˇB）并进行插值。 基于 RI 的算法的动机是观察到残差通常变得比传统色差（即 R-G 和 B-G）更平滑，从而有助于更准确的插值。 在提出最初的 RI 后（RI [8]），使用最小化拉普拉斯算子（MLRI [9,10]）、迭代（IRI [11,12]）或四方向性 [44] 引入了几种扩展。 基于 RI 的算法将在第 3 节中进一步回顾。

频域算法首先将马赛克 CFA 图像变换到频域，其中 CFA 图像表示为亮度和色度分量的组合。 然后通过频率滤波将这些分量分离，最后转换为 RGB 分量（FD [45,46]）。 在这一类别中，研究人员专注于设计有效的频率滤波算法，例如自适应滤波[47]和最小二乘亮度色度解复用[48]（该算法的源代码是公开的。但是，我们将该算法排除在比较之外） 图 2 因为仅为柯达数据集提供了必要的经过训练的过滤器。）。

基于小波的算法对 RGB 或亮度图像执行子带分析。 替代投影算法（AP [49]）将最初插值的 R、G 和 B 图像分解为子带，并根据 G 图像的高频子带迭代更新 R 和 B 图像的高频子带。 该算法使用无需迭代的一步实现来加速（OAP [50]）。 在另一种算法中，执行亮度分量的小波分析来估计水平和垂直方向的插值权重（WA [51]）。

基于重建的算法将去马赛克过程作为具有适当正则化或先验的优化问题来解决。 正则化方法（RAD [52]）使用有关自然彩色图像的先验知识，例如平滑度和带间相关性。 其他算法基于非局部稀疏模型的字典学习（LSSC [16]）或压缩感知理论[53]。

基于回归的算法根据训练图像学习有效的回归量[14,15]。 方向差异回归（DDR [15]）学习估计训练图像（作为没有镶嵌的地面实况）的方向颜色差异的回归器，该差异最接近根据输入镶嵌 CFA 数据计算的结果。 为了提高性能，融合回归（FR [15]）融合了 DDR 和其他回归器，这些回归器估计训练图像的 RGB 值（作为没有马赛克的地面实况）最接近最初使用 MLRI [9,10] 插值的 RGB 值。

小结：一般来说，基于训练图像的去马赛克算法，例如 LSSC [16]、DDR [15] 和 FR [15]，可以提供高性能结果，如图 2 所示。相比之下，基于插值的算法非常灵活 适用于任何类型的输入数据，而不依赖于训练图像。 这一特性在医学和多光谱成像等领域很重要，因为获得高质量和足够的训练图像是很费力的。 在本文中，我们重点关注改进基于 RI 的算法，这将在第 4 节中进行解释。我们参考调查论文 [2-5] 来获取补充信息。

2.2. Multispectral Demosaicking Algorithms

虽然拜耳去马赛克算法的研究有着悠久的历史，但多光谱去马赛克算法的研究直到最近几年才引起人们的关注。 由于目前还没有广泛应用的MSFA，因此多光谱去马赛克算法的研究与MSFA的设计相结合。

苗等人提出了一种通用算法，用于设计具有任意数量光谱带的 MSFA [54]。 他们还为通用方法设计的 MSFA 提出了一种通用的基于二叉树的边缘感知（BTES）去马赛克算法 [55]。 BTES算法基于二叉树递归地执行边缘检测插值。 尽管通用算法和 BTES 算法在提供通用框架方面很有用，但经典边缘传感插值的性能有限。

蒙诺等人提出了五频段MSFA[7]，如图1c所示。 该五波段 MSFA 由典型的 RGB 波段以及可见光谱中的附加 Or 和 Cy 波段组成。 该MSFA的优点在于保持MSFA中G带的采样密度与Bayer CFA中的一样高。 基于这一优势，人们提出了几种有效的去马赛克算法[7,56–60]。 这些算法首先对采样最密集的 G 波段进行插值，该波段可有效地用作插值其他波段的指南。 在[56]中，提出了自适应核上采样（AKU）来使用插值G波段作为估计其他波段插值方向的指导来生成插值五波段图像。 在[7,57]中，应用引导滤波（GF）[61]来获得插值结果。 在[58]中，基于RI的算法被纳入G波段和其他波段的插值中。 在[59,60]中，基于带间相关性分析，G带的高频分量被有效地利用来插值其他带。

最近，其他类型MSFA的多光谱去马赛克算法也被提出，例如基于线性最小均方误差的八波段MSFA算法[62]和使用伪全色图像的16波段MSFA算法 [63]。 我们参考论文[17]进行全面回顾，其中介绍了其他MSFA，例如统一MSFA[64,65]和七波段MSFA[66]，以及这些MSFA的去马赛克算法。

在本文中，我们为图 1c 的五波段 MSFA 提出了一种多光谱去马赛克算法，如第 5 节中所述。出于三个原因，我们认为使用该 MSFA 是一个合理的选择。 (i) 正如[7]中所报告的，与通用算法生成的其他五频段 MSFA 相比，所考虑的 MSFA 表现出了更好的性能。 (ii) 所考虑的 MSFA 已经在硬件中实现为原型传感器 [7]。 (iii) 贾等人。 也使用了相同的 MSFA 布置，并通过 MSFA 的频域分析报告了其有效性[67,68]。 这些事实表明了所考虑的 MSFA 的潜力。

3. Residual Interpolation Framework

在本节中，我们回顾 RI 框架和三种基于 RI 的特定算法：RI [8]、MLRI [9,10] 和 IRI [11,12]。

3.1. General Processing Flow

图 3 概述了 RI 框架。 这里，我们假设G波段插值已经完成，并以R波段插值为例来解释框架。 RI 框架由四个步骤组成。 (i) R 波段的初步估计（表示为 Rˇ ）是通过对观测到的 R 值进行引导上采样，从内插的 G 波段生成的。 (ii) 残差（表示为 R-ˇR）是通过暂定估计值与观测到的 R 值之间的差异来计算的。 (iii) 对残差进行插值。 (iv)将临时估计添加到插值残差中以获得插值R带（表示为R〜）。 RI 框架的关键作用是通过有效生成初步估计，残差变得比传统色差（即 R-G）更平滑 [10,12]。 此属性提高了插值精度。 类似的过程可以应用于 G 波段插值，这将在第 4 节中详细介绍。在下面，我们解释三种基于 RI 的算法，它们在临时估计生成方面有所不同。

3.2. Original RI

原始 RI [8] 使用 GF [61] 生成初步估计。 对于每个局部图像窗口，GF 生成临时估计作为引导的线性变换。 这里，使用插值 G 波段作为指导。 像素 (p, q) 周围局部窗口 ωp,q 中的初步估计表示为：

其中 Rˇ i,j 表示窗口中像素 (i, j) 的初步估计，(ap,q, bp,q) 是假设窗口中恒定的一对线性系数。

(ap,q, bp,q) 最小化的成本函数表示为：

其中 Mi,j 是像素 (i, j) 处的二进制掩码，对于观察到的 R 像素取值 1，对于其他像素取值 0（原始 GF [61] 有一个平滑项 a。出于我们的目的，平滑度 参数设置为一个非常小的值只是为了避免被零除，因此，我们在等式（2）和（3）中的成本函数中省略了平滑项。）。 上述成本函数表明原始 RI 本身最小化了残差（即 R-ˇR）。 由于线性系数是在滑动窗口中计算的，因此窗口的重叠被均匀平均或加权平均[10]。

3.3. Minimized-Laplacian RI

MLRI [9,10] 通过最小化残差的拉普拉斯能量而不是残差本身来生成初步估计。 为此，对 GF 进行如下修改。 对于每个局部窗口，增益分量 ap,q 的成本函数表示为：

3.4. Iterative RI

IRI [11,12] 向 RI 框架引入了迭代方式。 迭代方式如图3中的虚线所示，其中内插的R带用作下一次迭代的指导。 在[11]中，迭代根据第 k 次迭代时残差的幅度和平滑度（即 R-ˇRk）定义的标准停止迭代，以评估暂定估计与观测值的拟合效果。 在[12]中，使用不同的停止标准来评估新的插值结果是否足够接近具有适当阈值（即|~Rk−~Rk−1|<γ）的先前迭代结果。 在[11,12]中，迭代都以全局方式停止，这意味着基于对所有像素组合的标准，对所有像素使用公共迭代数。

4. Proposed Bayer Demosaicking Algorithm

4.1. Interpolation of the G Band

我们提出的算法首先对 G 波段进行插值。 G插值的整体流程如图4所示。这里，我们仅解释R像素的G插值。 以相同的方式执行B像素的G插值。

我们提出的 G 插值算法由三个步骤组成。 (i)在水平和垂直方向上执行在表示包含R像素的像素行的R行处的G插值。 对于每个方向，分别以迭代方式应用 RI 和 MLRI。 作为每次定向插值的结果，生成一组定向插值 G 结果，其中每个结果对应于一次迭代。 (ii)对于每个方向插值，从方向插值G结果集中在每个像素自适应地选择合适的迭代次数。 (iii)所有方向结果通过每个R像素的加权平均自适应地组合以获得最终的G插值结果。 上述步骤的序列被称为 ARI，因为它自适应地组合 RI 和 MLRI 并选择每个像素的迭代次数。 每个步骤的详细信息如下。

步骤(i)：迭代方向插值。 在此步骤中，应用RI和MLRI进行迭代定向插值。 图5说明了水平方向R线处G插值的流程。 以相同的方式执行垂直方向上的G插值。

首先，在R行执行R和G波段的水平线性插值（HLI），以获得初始插值结果为：

然后，在每次第 k 次迭代时，通过先前插值结果的线性变换生成 R 和 G 的初步估计（如果 k = 1，则使用初始插值结果），如下所示：

其中Rˇ和Gˇ表示初步估计，(ar,br)和(ag,bg)是线性系数。 如第 3.2 节和第 3.3 节所述，RI 和 MLRI 分别使用 GF [61] 及其修改版本计算线性系数。 这里，G~被用作生成Rˇ的指导，反之亦然。 在每个局部窗口，RI 和 MLRI 分别通过最小化以下成本来计算线性系数。

其中 eRh 和 eGh 分别代表 R 和 G 的初步估计的成本。

生成初步估计后，残差计算如下：

以迭代方式[11,12]，使用获得的插值结果根据方程（6）更新临时估计。 在[11,12]中，迭代根据第3.4节中描述的标准全局停止，这意味着公共迭代数用于所有像素。 相比之下，ARI 生成一组定向插值结果，其中每个结果对应一次迭代，并在下一步中自适应地为每个像素选择合适的迭代次数。

步骤(ii)：迭代次数的自适应选择。 在此步骤中，对于每个方向插值，在每个像素处自适应地选择合适的迭代次数。 这是基于类似于[11]中的标准来执行的。 这里，我们仅解释水平方向的标准。 以相同的方式计算垂直方向的标准。

基于以下差异，我们以逐像素的方式定义标准，而不是[11]中的全局方式。

其中 dRh 和 dGh 表示第 k 个暂定估计值与之前插值结果之间的差异。 这些差异评估了临时估计在第 k 次迭代时收敛的有效性。 第 k 次迭代时像素 (i, j) 的标准值根据上述差异的大小和平滑度定义为：

步骤(iii)：所有方向结果的自适应组合。 本步骤中，RI和MLRI的方向插值结果通过加权平均合并为：

4.2. Interpolation of the R and B Bands

在IRI[11,12]中，仅对G插值执行迭代，而R和B插值不进行迭代。 相比之下，我们不仅将 ARI 完全融入到 G 插值中，而且还融入到 R 和 B 插值中。

图 6 显示了 R 插值的流程。 我们采取如下渐进方法[55]。 (i) 使用 ARI 沿对角线方向对 B 像素处的 R 值进行插值。 (ii)使用ARI沿水平和垂直方向对G像素处的R值进行插值。 在 ARI 中，内插的 G 频带在整个过程中是固定的，并用作在每次迭代时生成 R 频带的初步估计的指南。 B插值以相同的方式进行。 在我们的实验中，最多两次迭代可为 R 和 B 插值提供足够高性能的结果。 此迭代过程将 R 和 B 频段的 PSNR 的去马赛克性能提高了大约 0.13 dB，将 CPSNR 提高了 0.1 dB。

4.3. Window Size of GF

在我们的实现中，我们根据经验设置等式（6）中GF的窗口大小，如下所示。 在这里，我们解释水平插值的窗口大小。 垂直插值的窗口大小是对称设置的。

在G插值中，GF的窗口大小（表示为高度（H）×宽度（W））最初设置为水平RI的3×5和水平MLRI的1×9。 如[11]中所述，窗口大小在每次第 k 次迭代时逐渐扩大，为 Hk = Hk−1 + 2 和 Wk = Wk−1 + 2。在 R 和 B 插值的第一步中，GF 窗口 设置如图 6 左侧所示。我们最初使用对角 5 × 5 窗口作为对角 RI，使用对角 1 × 5 窗口作为对角 MLRI。 然后以与水平G插值相同的方式对角放大窗口尺寸。 在R和B插值的第二步中，GF的窗口大小最初设置为水平RI的5×5和水平MLRI的1×5。 然后将窗口尺寸放大为Hk = Hk−1 + 2和Wk = Wk−1 + 2。窗口放大极大地影响了去马赛克性能，并且与没有放大的情况相比，CPSNR提高了1 dB以上。

5. Multispectral Extension

6. Experimental Results

6.1. Performance ofBayer Demosaicking Algorithms

为了评估拜耳去马赛克算法的性能，我们使用了两个标准彩色图像数据集：IMAX 和 Kodak 数据集。 这两个数据集用于代表性调查论文中的基准比较[4]。 IMAX 数据集包含 18 张大小为 500 × 500 像素的图像 [40]。 Kodak 数据集包含 12 张尺寸为 768 × 512 像素的图像 [4]。

我们提出的 ARI（代码可在 http://www.ok.sc.e.titech.ac.jp/res/DM/RI.html 获得。）与第 2 节中简要回顾的 29 种算法进行了广泛比较。 代码可在其作者的网站上公开获取或执行。 仅对于 IRI [11,12]，我们要求作者向我们发送结果图像，因为源代码不公开。 我们使用作者提供的一组默认参数进行评估。 DDR [15]和FR [15]有两组参数，其中每组参数针对每个数据集进行优化。 为了在两个数据集中的通用参数条件下评估所有算法，我们根据两个数据集的平均 CPSNR 性能为 DDR 和 FR 选择了一组更好的参数。 我们还纳入了 ARI 的先前版本（表示为 ARI (Previous)）[18] 作为参考。 我们在评估中省略了十个边界像素，以减少这些像素中的实现错误。

表 1 总结了平均 PSNR 和 CPSNR 性能。 对于 IMAX 数据集，我们提出的 ARI 在 CPSNR 性能方面优于所有现有算法。 基于训练图像的回归算法，即DDR和FR，遵循ARI。 现有的基于 RI 的算法（例如 MLRI 和 IRI）也提供相当高性能的结果。

对于柯达数据集，基于字典学习的算法，即 LSSC [16]，提供了最好的性能。 具有多尺度梯度的基于插值的算法，即 MSG [35]，遵循 LSSC。 对于两个数据集的所有图像的平均值，我们提出的 ARI 将 IRI 的 CPSNR 提高了约 0.6 dB，并且优于所有现有算法，包括基于训练图像的最先进算法，例如 LSSC 和 FR。 让我们注意到 FR 使用 MLRI 作为初始插值的来源来学习有效的回归量。 因此，我们提出的 ARI 与 FR 的集成有可能进一步提高性能。 表 2 总结了平均结构相似性 (SSIM) [69] 性能，其结果与表 1 中的 PSNR 性能类似。

图 9 显示了 IMAX 3 号图像上去马赛克结果的视觉比较。 图中显示了表 1 中排名前九的算法的结果，这些算法的平均 CPNR 性能大于 38 dB。 可以看到，ARI 可以生成高质量的图像，而不会出现严重的拉链伪影。 FR 也可以产生类似的结果。 图 10 显示了柯达 12 号图像上去马赛克结果的视觉比较。 可以看到，ARI 可以减少 LSSC 以外的现有算法结果中出现的严重色彩伪影。 数值和视觉比较都验证了我们提出的 ARI 可以使用拜耳 CFA 实现彩色图像去马赛克的最先进性能。

图 11 显示了最先进算法的计算时间与 CPSNR 性能关系图，其中 IMAX 和 Kodak 30 图像的平均计算时间是使用台式 PC（Intel Xeon CPU E5-1603 v3 2.80-GHz）测量的 具有 80 GB RAM 的处理器）。 请注意，IRI 的计算时间是从[12]中提取的，因为作者仅提供结果图像，并且我们无法在我们的计算环境中运行 IRI。 其他算法使用 MATLAB R2016b 执行。 DDR 和 FR 利用并行实现（我们环境中的四个核心）。 可以看出，计算时间和 CPSNR 性能呈正相关。 IRI 比 RI 花费更多时间，因为 IRI 会迭代 RI。 ARI 比 IRI 花费更多时间，因为 ARI 迭代 RI 和 MLRI 并将它们组合起来。 DDR和FR的计算时间介于IRI和ARI之间。 由于图 4 中的每个方向插值都可以并行化，因此我们未来的工作是通过并行化实现来减少 ARI 的计算时间。

6.2. Performance ofMultispectral Demosaicking Algorithms

7. Conclusions

在本文中，我们提出了一种用于彩色和多光谱图像去马赛克的新颖算法。 我们提出的算法基于一种称为 ARI 的新插值技术，该技术通过两种基于 RI 的算法的自适应组合以及在每个像素处自适应选择合适的迭代次数来改进现有的基于 RI 的算法。 使用标准彩色图像数据集进行的实验比较表明，ARI 可以将现有基于 RI 的算法的 CPSNR 性能提高约 0.6 dB，并且可以超越基于训练图像的最先进算法。 使用多光谱图像数据集的实验比较表明，ARI 在多光谱图像去马赛克任务中也能实现最先进的性能。