ABSTRACT
一种广泛应用于彩色图像马赛克的色差插值技术。在本文中，我们提出残差插值作为一种替代颜色差插值，其中残差是一个观察和一个初步估计的像素值之间的差异。我们将所提出的残差插值方法引入到基于梯度的无阈值(GBTF)算法中，该算法是目前最先进的马赛克算法之一。实验结果表明，我们提出的使用残差插值的马赛克算法可以为柯达和IMAX数据集的30幅图像提供最先进的性能。
1. INTRODUCTION
彩色滤光片阵列(CFA)单传感器技术被广泛应用于数码相机行业[1]。在具有CFA的单传感器摄像机中，每个像素只记录RGB值中的一个像素值，其他像素值通过名为demosaicering的摄像机内过程进行插值[2,3]。高性能马赛克算法的开发对于获取高质量的彩色图像至关重要。
最流行和使用最广泛的CFA是拜耳CFA(图1)[4]。对于Bayer CFA的马赛克算法的研究由来已久[2,3]。大多数拜耳马赛克算法首先插值G像素值，因为G像素的采样密度是R和B像素的两倍。然后，在R和B像素点计算色差(R- g或B- g)并进行色差插值。最后，将插值后的G图像添加到插值后的色差图像中，得到R和B图像。之所以使用色差，是因为观察到所有的色带都有非常相似的图像结构，如纹理和边缘[5,6]。从这一观察结果，可以假设色差图像在捕获对象的边界内近似平坦，这使得插值过程很容易。
在本文中，我们提出了一种新的使用残差插值的马赛克算法。我们不是使用色差，而是生成R和B图像的初步估计(ˇR和ˇB)，并计算残差，即观测值和初步估计的R和B像素值之间的差异(R−ˇR和B−ˇB)。我们使用残差而不是色差的动机是，如果我们能够准确地生成初步估计，残差应该比标准色差更平坦，这将导致更好的彩色图像马赛克效果。我们利用最近提出的一种强大的边缘保持滤波器[7]来产生这种精确的初步估计。计算完残差后，我们插值残差而不是颜色差异。我们将残差插值引入到基于梯度的无阈值(GBTF)算法[8]中，这是使用色差插值的最先进的拜耳马赛克算法之一。实验结果表明，我们提出的使用残差插值的马赛克算法可以为柯达和IMAX数据集的30幅图像提供最先进的性能。
2. PROPOSED RESIDUAL INTERPOLATION
我们首先描述了残差插值的基本处理流程。以R像素值的插值为例，我们将本文提出的残差插值与图2中的标准色差插值进行比较。
图2 (a)为标准色差插值R像素值的插值过程。首先，利用插值算法生成G图像。然后，在R个像素点上计算色差(R- g)，并进行色差插值。最后，将G图像添加到插值后的色差图像中，得到插值后的R图像。
图2 (b)为本文提出的残差插值对R像素值的插值过程。首先，采用与色差插值相同的插值算法生成G图像。然后，我们生成R图像的暂定估计值(ˇR)，并计算在R像素处观测值与暂定估计值(R−ˇR)之间的残差。之后，我们插值的是残差而不是颜色差异。通过准确地生成R图像的初步估计，我们可以期望残差变得比色差更平坦，这使得插值过程更容易。最后，对插值后的残差图像加上R图像的初步估计，得到插值后的R图像。
在我们提出的马赛克算法中，我们使用引导滤波器[7]对观测到的R像素值进行上采样，从而产生初步估计。导频滤波器利用导频图像作为参考来挖掘图像结构，可以准确地对输入的稀疏数据进行上采样，其方式类似于联合双侧上采样[9]。对于每个局部patch，引导滤波器的输出由引导图像的线性变换表示，因此，保留了引导图像的图像结构。我们使用插值后的G图像作为引导图像，方式与[10]相同。在本文中，我们将这种上采样过程称为引导上采样。
3. PROPOSED DEMOSAICKING ALGORITHM
我们将残差插值与GBTF算法[8]结合，开发了我们提出的马赛克算法。GBTF算法首先插值G像素值。然后，利用色差插值对R和B像素值进行插值。对于R和B像素值的插值，我们只需将色差插值替换为上一节所述的残差插值。残差插值采用双线性插值。接下来，我们提出了基于GBTF算法的G像素值的插值过程。
GBTF算法对G像素值的插值过程包括三个步骤:(i)在水平和垂直方向上应用Hamilton和Adams插值公式[5]，分别估计R和B像素处的G像素值和G像素处的R或B像素值。从而生成水平方向和垂直方向估计的R、G、B像素值。(ii)计算每个像素的水平和垂直色差(G-R或G-B)。然后，对水平和垂直色差进行平滑处理并合并到最终的色差估计中。(iii)通过将观测到的R或B像素值添加到最终的色差估计中，对R和B像素处的G像素值进行插值。
步骤(i)中的Hamilton和Adams插值公式可以解释为线性色差插值。我们用残差插值代替线性色差插值。为了简化解释，下面我们将重点研究水平方向上G像素处的R像素值的估计。G像素处的B像素值与R像素值的估计方法相同。同样，我们在垂直方向上也用了同样的方法。
