图像复原中的最小二乘估计

假设我们有一个原始图像$\mathbf{f}$，它经过了一个线性退化过程（例如，卷积与加性噪声），产生了观测到的退化图像$\mathbf{g}$：

$$\mathbf{g}=\mathbf{H}\mathbf{f}+\mathbf{n}$$

这里：

• $\mathbf{g}$是退化后的观测图像。
• $\mathbf{H}$是一个表示退化过程的线性算子（例如，点扩散函数 PSF 的离散化版本，它可以是模糊矩阵）。
• $\mathbf{n}$表示加性噪声。
• $\mathbf{f}$是我们想要恢复的原始图像。

最小二乘估计是寻找一个估计$\hat{\mathbf{f}}$，使得预测图像$\mathbf{H}\hat{\mathbf{f}}$与观测图像$\mathbf{g}$之间的差异最小化。这可以通过最小化残差平方和（RSS）来实现：

$$\underset{\hat{\mathbf{f}}}{\min }\Vert \mathbf{g}-\mathbf{H}\hat{\mathbf{f}}{\Vert }_2^2$$

这里的$\Vert \cdot {\Vert }_2^2$表示欧几里得范数的平方，即残差向量的元素平方和。

最小二乘解

如果我们忽略噪声项$\mathbf{n}$，或者假设噪声的影响较小，那么可以通过求解正规方程得到$\hat{\mathbf{f}}$的解析解：

$$\hat{\mathbf{f}}=({\mathbf{H}}^T\mathbf{H}{)}^{-1}{\mathbf{H}}^T\mathbf{g}$$

然而，在实际应用中，直接求解上述公式可能会遇到以下问题：

• 病态问题：如果$\mathbf{H}$接近奇异（例如，当图像严重模糊时），${\mathbf{H}}^T\mathbf{H}$可能很难逆，导致数值不稳定。
• 噪声放大：即使是很小的噪声$\mathbf{n}$，也可能被逆过程显著放大，从而破坏复原效果。

正则化最小二乘估计

为了解决这些问题，通常会采用正则化最小二乘估计（Regularized Least Squares, RLS）。正则化方法通过添加一个惩罚项到目标函数中，以限制解的空间并防止过拟合。常见的正则化形式包括：

• Tikhonov 正则化（也称为岭回归）：
  $$\underset{\hat{\mathbf{f}}}{\min }\Vert \mathbf{g}-\mathbf{H}\hat{\mathbf{f}}{\Vert }_2^2+\lambda \Vert \hat{\mathbf{f}}{\Vert }_2^2$$
  其中$\lambda$是正则化参数，控制了对噪声和解的平滑度之间的权衡。

• 总变差正则化（Total Variation, TV）：
  $$\underset{\hat{\mathbf{f}}}{\min }\Vert \mathbf{g}-\mathbf{H}\hat{\mathbf{f}}{\Vert }_2^2+\lambda \Vert \nabla \hat{\mathbf{f}}{\Vert }_1$$
  这种方法有助于保持图像边缘的清晰度，因为它惩罚的是图像梯度的绝对值之和，而不是像素值本身。

迭代算法

对于大型图像，直接求解上述优化问题可能是计算上不可行的，因此常常使用迭代算法，如共轭梯度法（Conjugate Gradient）、交替方向乘子法（ADMM）或基于梯度的方法（如梯度下降），这些方法可以在每一步迭代中逐步逼近最优解，同时保持计算效率。