论文题目： ROBUST INTERNAL EXEMPLAR-BASED IMAGE ENHANCEMENT

1 摘要

图像增强的目的是修改图像，以实现更好的人类视觉系统感知或更合适的表示来进一步分析。根据给定输入图像的不同属性，任务也会有所不同，如噪声去除、去模糊、分辨率增强、缺失像素的预测等。后两种方法通常被称为图像超分辨率和图像补全。存在着低质量输入图像分辨率不足、区域缺失的复杂情况。在本文中，我们提出了一种新的统一框架来同时实现图像的超分辨率和补全。该方法采用了图像水平和梯度水平的内部样本相似性，然后将这两个层次的增强结果输入预定义的代价函数，以恢复最终输出。实验结果表明，我们的方法能够产生清晰的边缘和真实的纹理
在本文中，我们提出了一种新的和直接的图像增强算法，它可以同时执行超分辨率和补全。给定一个输入的LR图像和一个表示缺失区域的掩模(s)，我们在梯度水平和图像水平上都执行增强。输入LR在水平和垂直方向（表示为x和y）的梯度被嵌入。所得到的HR梯度，连同已绘制的LR图像，被输入一个易于优化的成本函数，以重建最终的HR增强图像。所提出的图像增强框架的贡献是四方面的： 1)提出了一种统一的图像增强框架来实现一个具有不可用区域的LR输入图像的超分辨率和补画。2)采用梯度级和图像级增强，保证鲁棒性能。3)利用一个直接的能量函数来合并增强的梯度，同时保持与输入图像的一致性。

2 理论介绍

2.1 带补全的梯度级Upscaling

利用内部跨尺度梯度相似度，同时实现输入LR梯度的超分辨率和补全。根据观察，对于自然图像中的小图像斑块，在图像本身和不同尺度上存在自相似性，我们应该期望梯度斑块具有相似的冗余。
给定一个灰度输入LR图像$L$、掩模$M$和缩放因子$s$，我们将$L$在$x$和$y$方向上的梯度表示为$L_x$和$L_y$。增强的HR梯度用$H_x$和$H_y$表示。$L_x$被分解为一组大小为$a\times a$的重叠Patches。具有未知像素的补丁首先被升级。在缺失区域的Patches中，以像素$q$为中心的Patches $P$的上采样优先级确定如下：

其中$P_{(q)}$表示以像素$q$为中心的patch，$\overline{M}$表示未掩膜区域，$N$为归一化因子（灰色图像为255），$u_q$表示与像素$q$正面正交的单位向量。如果像素值$i$未知，则将$C(i)$的初始化设置为$C(i)=0$，否则设置为$C(i)=1$。$L_{x_q}$表示$L_x$中像素$q$处的值。如等式(1)中所示，在一个给定的像素处的优先级被测量为两项的乘积：置信项$C(\cdot )$和数据项$D(\cdot )$。这两项都被归一化到0到1之间。
与[9]中的优先级计算不同，我们在计算最终优先级时，通过将其修改为平方形式，为数据项分配更多的置信度。置信项保持不变。一般来说，置信项度量围绕一个给定像素的可靠信息的量。数据项检测该像素上的等光和同一像素上的轮廓碰撞强度。
在计算出沿掩蔽区域边界的每个像素的优先级后，选择其中心像素处优先级最高的patch作为查询patch $p$进行上采样。然后，我们通过比例因子$s$对$L_x$进行降采样，得到$L{L}_x$。一个梯度patch池${\wp }_x$由$LLx$中的所有patch（大小为$a\times a$）组成，它们的像素值都是已知的。为了确保更具表现性的表示，${\wp }_x$中的所有patch以及查询patch $p$都被标准化为均值和单位方差为零。
给定一个查询patch $p$，它的$k$个最相似的patch会在patch池${\wp }_x$中被搜索。两个补丁之间的相似性是用均方误差（MSE）来测量的。在$L{L}_x$中获得$k$个相似的patch后，提取$L_x$中相应的“父”patch，并以softmax的方式进行加权组合。然后根据$p$的原始均值和方差对组合后的patch进行重新调整，并“粘贴”到$H_x$中相应的位置。在更新置信项和数据项后，重复上述过程，直到所有与掩模$M$重叠的patch进行上采样。然后在$L_x$中的其余patch以类似的方式进行upscaled，而不需要计算patch优先级。$H_y$在相同的结构中利用$L_y计算$。
//
原文公式部分写的比较难懂

• $u_q$实际是如何计算的？

//

2.2 图像级别修复

为了保证在构建最终的HR增强图像时的鲁棒增强性能，我们还在最后的重建步骤之前对输入的LR图像L执行图像级嵌入。
根据等式 (1)计算沿$L$中掩模区域边界上的每个像素的优先级.然后，我们在$l$的未掩蔽区域形成一个包含所有补丁（大小为$a\times a$）的补丁池。在补丁池中搜索中心像素优先级最高的补丁$p$中最相似的补丁。然后根据$k$个找到的补丁与查询补丁的相似性，以softmax的方式进行加权组合。补丁$p$中的未知像素值用组合补丁中相应的值填充。
在更新了填充像素的置信项和数据项后，将重复上述过程，直到预测出掩模区域内的所有像素值为止。最后，利用已绘制的图像$L_I$和HR梯度$H_x$、$H_y$对目标HR图像$H_E$进行最终重建。

2.3 最后的图像重建

在获得已绘制的LR图像LI和HR梯度$Hx$，$Hy$后，通过最小化以下能量函数重构输出的HR图像$HE$：

其中，$\nabla H_D$表示计算出的$Hx$和$Hy$。$\lambda$是成本函数的两项之间的加权因子。$G$表示一个高斯核，其标准方差$\sigma$根据比例因子$s$设置： $\sigma =0.8,1.2,1.6$，如果$s=2,3,4$。
在等式中所示的能量函数中包含了两项 (2): 第一项基于“梯度级升级”步骤后计算出的梯度，对目标HR图像的梯度进行了约束。第二项确保了输出的HR图像和完成的输入LR图像之间的一致性。通过梯度下降算法的迭代优化，可以轻松地优化代价函数：

其中$t$表示迭代的计数器，$\delta$表示步宽。如图1所示，在不同的掩模下，所提出的框架很好地提高了输入LR图像的分辨率，并以一种与自然和真实的纹理在视觉上合理的方式预测缺失的像素值。

3 结论

在本文中，我们提出了一种新的鲁棒图像增强框架，可以在缺少像素的LR输入图像的情况下实现超分辨率和图像。输入LR梯度利用内部跨尺度的补丁相似性。与已绘制的LR图像一起，HR增强梯度被纳入一个直接的代价函数来重建最终的输出图像。大量的实验结果表明，所提出的方法是鲁棒性的，能够产生具有尖锐的边缘和自然纹理的视觉结果。