✳️ 一、图像超分辨率重构原理

首先需要了解重构的逆过程，即图像的降质过程。在超分辨率重构中，假设观测到的多张低分辨率图片都是经过一系列降质过程得到的，则这个降质过程应包括几何运动、光学模糊、亚采样以及附加噪声这四个步骤。将这一系列降质过程用数学方式表示出来，就得到了我们的观测模型，用 f 表示实际高分辨率图像， ${{g}_{k}}$ 表示采集到的第 k 幅低分辨率图像，则图像观测模型为：

在这里插入图片描述
式中： ${{M}_{k}}$ 表示运动矩阵；B表示模糊变换矩阵；D表示下采样矩阵； ${{n}_{k}}$ 表示附加噪声。设 X 为实际高分辨率图像，则降质过程可以描述为，经过旋转平移运动、变模糊、降分辨率和加入噪声四个过程，最终得到观测图像 Y。过程如图1所示：

在这里插入图片描述

图 1 图像降质过程

✳️ 二、双线性插值重构理论与实验分析

如图2所示，图像插值就是要估计出已知像素点之间的像素值。为了估计像素x，需要其相邻像素及距离s等参数，对于一维等间距采样数据序列 $f\left( {{x}_{k}} \right)$ 可以采用多种插值函数实现插值操作，插值序列可以写成如下形式

在这里插入图片描述

图 2 一维信号插值(像素点x由与之距离为s的领域点来估计)

在这里插入图片描述

式中； $\beta (x)$ 为插值基函数；x、 ${{x}_{k}}$ 分别为连续空间点； $c\left( {{x}_{k}} \right)$ 的值称为插值系数，需要在插值之前进行估计。

✳️ 2.1 双线性插值理论与实验验证

线性插值由于易于实现而被广泛应用，通常称为双线性插值，其插值公式如下：

在这里插入图片描述

在模拟实验中，首先对原始图像进行降采样，然后加入高斯白噪声(AWGN)来模拟低分辨率图像降质模型，最后，对低分辨率图像进行双线性插值重构原始图像，结果如图3所示，此时，重构图像与原始图像之间的峰值信噪比为27.9733。

在这里插入图片描述

图 3 双线性插值重构结果

✳️ 2.2 有偏距离双线性插值重构理论与实验验证

有偏距离( Warped- Distance，WaDi)算法是最简单的自适应图像插值算法，有偏距离算法主要是用基于估计像素周围邻域同性或异性得到的距离s’替代距离s，有偏距离s’如下

在这里插入图片描述

式中： ${{A}_{n}}$ 为 ${{x}_{k+1}}$ 邻域数据的不对称度，其定义如下

在这里插入图片描述

其中，对于8位深像素值， ${{L}_{\max }}=256$ ；缩放因子 ${{L}_{\max }}-1$ 的作用是保证 ${{A}_{n}}$ 在-1~1之间，参数τ为有偏强度，为正整数，有偏距离图像插值的主要目的是防止边缘模糊。

基于有偏距离双线性插值重构得到原始图像，结果如图4所示，此时，重构图像与原始图像之间的峰值信噪比为28.3937。

在这里插入图片描述

图 4 有偏距离双线性插值重构结果

✳️ 2.3 权重双线性插值理论与实验验证

权重图像插值(Weighted Image Interpolation)不同于传统的图像插值技术，此算法基于变空间自适应权重来调整像素值的权重。此算法中距离s保持不变。权重双线性插值(Weighted bilinear )算法公式如下：

在这里插入图片描述
其中，

在这里插入图片描述

基于权值双线性插值重构得到原始图像，结果如图5所示，此时，重构图像与原始图像之间的峰值信噪比为28.4037。

在这里插入图片描述

图 5 权值双线性插值重构结果

✳️ 2.4 有偏距离权值双线性插值理论与实验验证

通过改变上述参数，可以得到有偏距离权值双线性插值(Weighted bilinear with warping)，其结果如图6所示，此时，重构图像与原始图像之间的峰值信噪比为23.9017。

在这里插入图片描述

图 6 有偏距离权值双线性插值重构结果

✳️ 三、参考文献

[1] S. E. El-Khamy, M. M. Hadhoud, M. I. Dessouky et al. 2003. Adaptive Image Interpolation Based on Local Activity Levels, URSI National Radio Science Conference, Cairo, March.
[2] J. K. Han and H. M. Kim. 2001. Modified Cubic Convolution Scaler with Minimum Loss of Information, Optical Eng., 40, 540–546.
[3] A. Gotchev, K. Egiazarian, J. Vema et al. 2000. Edge-Preserving Image Resizing Using Modified B-Splines. In Proceedings of ICASSP.