Diffusion posterior sampling for general noisy inverse problems

公众号：EDPJ（添加 VX：CV_EDPJ 进交流群获取资料）

目录

0. 摘要

1. 简介

2. 背景 

2.1 基于分数的扩散模型 

2.2 用扩散模型求解逆问题

3. 扩散后验采样（DPS） 

3.1 似然的近似 

3.2 测量的模型相关似然 

4. 实验

5. 结论 

参考

附录

C. 消融研究和讨论

C.1 通过投影放大噪声

C.5 采样速度

C.6 限制 

S. 总结

S.1 主要思想

---

0. 摘要

由于高质量重建和易于组合现有迭代求解器，扩散模型最近作为强大的生成逆问题求解器被研究。 然而，大多数工作都专注于在无噪条件下解决简单的线性逆问题，这大大低估了现实世界问题的复杂性。 在这项工作中，我们扩展了扩散求解器，通过后验采样的近似来有效地处理一般的噪声（非线性）线性逆问题。 有趣的是，所得的后验采样方案是扩散采样与流形约束梯度的混合版本，没有严格的测量一致性投影步骤，与之前的研究相比，在噪声环境中产生了更理想的生成路径。 我们的方法表明，扩散模型可以结合各种测量噪声统计数据，例如高斯和泊松，并且还可以有效地处理噪声非线性逆问题，例如傅立叶相位恢复和非均匀去模糊。 代码可在 https://github.com/DPS2022/diffusion-posterior-sampling 获取。

1. 简介

扩散模型通过匹配对数密度的梯度（即 Stein 分数；▽_x log p(x)）来学习基础数据分布的隐式先验（Song 等人，2021b）。 在解决逆问题时可以利用先验，逆问题的目的是从测量 y 中恢复 x，通过前向测量算子 A 和探测器噪声 n 相关。 当我们知道这样的前向模型时，可以结合对数似然的梯度（即 ▽_x log p(y|x)），以便从后验分布 p(x|y) 中进行采样。 虽然这看起来很简单，但实际上似然项在扩散模型中很难分析，因为它们依赖于时间 t。 由于其棘手性，人们经常求助于测量子空间上的投影（Song et al., 2021b; Chung et al., 2022b; Chung & Ye, 2022; Choi et al., 2021）。 然而，当以下情况时，投影型方法会严重失败：1）测量中存在噪声，因为由于逆问题的不适定性（ill-posedness），噪声通常在生成过程中被放大； 2）测量过程是非线性的。

旨在解决噪声逆问题的一系列扩散工作在谱域中运行（Kawar 等人，2021；2022），以便他们可以通过奇异值分解（SVD）将测量域中的噪声与谱域联系 。 然而，当正向模型变得更加复杂时，SVD 的计算成本高昂，甚至令人望而却步。 例如，Kawar 等人 (2022) 仅考虑使用可分离高斯核进行去模糊，因为它们仅限于可以有效执行 SVD 的逆问题族。 因此，此类方法的适用性受到限制，设计一种无需计算 SVD 即可解决噪声逆问题的方法将是有用的。 此外，虽然扩散模型应用于各种逆问题，包括图像修复（Song et al., 2021b; Chung et al., 2022b; Kawar et al., 2022; Chung et al., 2022a）、超分辨率（Choi et al., 2022a；Chung 等人，2022b；Kawar 等人，2022）、着色（Song 等人，2021b；Kawar 等人，2022；Chung 等人，2022a）、压缩感知 MRI（CS- MRI）（Song 等人，2022；Chung 等人，2022；Chung 等人，2022b）、计算机断层扫描（CT）（Song 等人，2022；Chung 等人，2022a）等，以我们的了解，迄今为止所有工作都只考虑了线性逆问题，而没有探索非线性逆问题。 

在这项工作中，我们设计了一种方法，通过一种新颖的近似来规避扩散模型后验采样的棘手问题，该方法通常可应用于有噪逆问题。 具体来说，我们表明我们的方法可以有效地处理高斯和泊松测量噪声。 此外，当可以通过自动微分获得梯度时，我们的框架可以轻松扩展到任何非线性逆问题。 我们进一步揭示了最近提出的流形约束梯度（manifold constrained gradients，MCG）（Chung 等人，2022a）是该方法在测量是无噪时的特例。 通过几何解释，我们进一步表明，所提出的方法比以前的方法更有可能在噪声条件下产生理想的样本路径（Chung 等人，2022a）。 此外，所提出的方法完全在图像域而不是谱域上运行，从而避免了 SVD 的计算，从而可高效实现。 通过广泛的实验，包括各种逆问题——修复、超分辨率、（高斯/运动/非均匀）去模糊、傅里叶相位恢复——我们表明，我们的方法可以作为一个通用框架，以优异的质量解决一般噪声逆问题（代表性结果如图1所示）。

2. 背景 

2.1 基于分数的扩散模型 

扩散模型将生成过程定义为噪声过程的逆过程。 具体来说，Song 等人 (2021b) 定义了数据噪声过程的 It^o 随机微分方程 (stochastic differential equation，SDE)（即正向 SDE）x(t)，t ∈ [0，T]， x(t) ∈ R^d，对于任意的 t 的形式如等式 1 所示 （在这项工作中，我们考虑 SDE 的方差保留 (variance preserving，VP) 形式（Song 等人，2021b），它相当于去噪扩散概率模型 (Denoising Diffusion Probabilistic Models，DDPM)（Ho 等人，2020））

其中 β(t) : R → R > 0 是过程的噪声表，通常被视为 t 的单调递增线性函数（Ho 等人，2020），w 是标准 d 维维纳过程（Wiener）。 当 t = 0 时定义数据分布，即 x(0) ~ p_data，并且当 t = T 时实现简单、易处理的分布（例如各向同性高斯），即 x(T) ~ N(0,I)。 

我们的目标是从易处理分布开始恢复数据生成分布，这可以通过写下等式 1 的相应逆向 SDE 来实现（Anderson，1982）： 

其中 d_t 对应于后向运行的时间，

对应于后向运行的标准维纳过程。 漂移函数（drift function）现在取决于时间相关的得分函数

它由经过去噪得分匹配训练的神经网络 s_θ 近似（Vincent，2011）： 

其中

（越等和等的结合，也用于指示渐进式的等）是一个小的正常数。一旦通过等式 (3)获得，就可以使用近似值

作为插件估计（近似误差来自神经网络的优化/参数化误差）来代替等式 (2) 中的分数函数。等式 (2) 的离散化和使用，例如 Euler-Maruyama 离散化的求解，相当于从数据分布 p(x) 中采样，这是生成建模的目标。 

在整篇论文中，我们采用标准 VP-SDE（即 Dhariwal & Nichol (2021) 的 ADM 或去噪扩散概率模型 (DDPM)（Ho 等人，2020）），其中，表示为 ~σ(t) 的反向扩散方差的学习方式如 Dhariwal & Nichol (2021) 中所述。 在具有 N 个 bin 的离散设置中（例如在算法中），我们定义

随后，

遵循 Ho 等人（2020）。 

2.2 用扩散模型求解逆问题

对于各种科学问题，我们有从 x 导出的部分测量 y。 当映射 x → y 是多对一的，我们遇到了一个不适定（ill-posed）的逆问题，其中，我们无法准确地恢复 x。 在贝叶斯框架中，使用 p(x) 作为先验，并从后验 p(x|y) 中采样，其中关系通过贝叶斯规则正式建立： p(x|y) = p(y|x)p(x) / p(y)。 利用扩散模型作为先验，可以直接修改等式（2）以得到反向扩散采样器，以从后验分布中采样：

我们使用了以下事实（基于贝叶斯规则，其中 y 对 x 的梯度为 0）：

在等式（4）中，我们有两项需要计算：得分函数

和似然

为了计算涉及 p_t(x) 的前一项，我们可以简单地使用预先训练的得分函数 s_θ* 。 然而，由于对时间 t 的依赖，后一项很难以封闭形式获得，因为 y 和 x_0 之间只存在显式依赖。 

形式上，前向模型（准确地说，当我们有信号相关的噪声模型（例如泊松）时，我们无法编写带有加性噪声的前向模型。 为了简单起见，我们仍将编写具有加性噪声的正向模型，并在本文后面讨论处理信号相关噪声时需要哪些处理）的一般形式可以表示为

其中 A(·) : R^d → R^n 是前向测量算子，n 是测量噪声。 在高斯白噪声的情况下，

显式形式为

然而，y 和 x_t 之间不存在明确的依赖关系，如图 2 的概率图中所示，其中蓝色虚线仍然未知。 

为了避免直接使用似然项，替代地投影到测量子空间是一种广泛使用的策略（Song et al., 2021b; Chung & Ye, 2022; Chung et al., 2022b）。 即，可以忽略等式 (4) 中的似然项，首先对等式 (2) 进行无条件更新，然后采取投影步骤，以便在假设

时满足测量一致性。另一项工作 (Jalal et al., 2021) 解决线性逆问题，其中

并利用近似值

该近似值是在假设 n 为具有方差为 σ^2 的高斯噪声时获得的。尽管如此，该方程仅在 t = 0 时正确，而在生成过程中实际使用的所有其他噪声水平下都是错误的。 这种不正确性可以通过假设更高水平的噪声（当 t →T 时）的启发式来抵消，使得

是超参数。 虽然这两项工作的目的都是在给定测量的情况下执行后验采样，并且在无噪声逆问题上凭经验运行良好，但应该注意的是：1）它们没有提供处理测量噪声的方法，2）使用此类方法来解决非线性逆问题，要么无法工作，要么难以实施。 本文的目的是朝着更通用的逆问题求解器迈出一步，它可以解决噪声测量，并且还可以有效地扩展到非线性逆问题。 

3. 扩散后验采样（DPS） 

3.1 似然的近似 

回想一下，不存在 p(y|x_t) 的解析公式。 为了利用测量模型 p(y|x_0)，我们将 p(y|x_t) 分解如下： 

其中第二个等式来自于，在 x_0 的条件下，y 和 x_t 独立，如图2所示。

这里，p(x_0|x_t)，如图 2 中蓝色虚线所示，一般来说是难以处理的。 但请注意，对于 VP-SDE 或 DDPM 等扩散模型的情况，前向扩散可以简单地表示为 

这样我们就可以通过 Tweedie 的方法（Efron，2011；Kim & Ye，2021）获得后验均值的专门表示，如命题 1 所示。 详细的推导可以在附录 A 中找到。 

命题 1：对于 VP-SDE 或 DDPM 采样的情况，p(x_0|x_t) 具有唯一的后验均值

备注 1：通过用分数估计

替换等式 (9) 中的

我们可以将 p(x_0|x_t) 的后验均值近似为： 

事实上，这个结果与成熟的去噪领域密切相关。 具体来说，考虑从给定的高斯噪声 x_t 恢复干净 x_0 的估计的问题。 Tweedie 公式的一个经典结果（Robbins，1992；Stein，1981；Efron，2011；Kim & Ye，2021）指出，可以使用等式（10）中的公式恢复经验贝叶斯最优后验均值 ^x_0。 

考虑到后验均值 ^x_0 可以在中间步骤中有效计算，我们的建议是为 p(y|x_t) 提供一种易于处理的近似，以便可以使用代理函数来最大化似然，从而产生近似后验采样。 具体来说，考虑到 (7) 中的解释

我们使用以下近似值： 

这意味着后验分布上 p(y|x_0) 的外部期望被 x_0 的内部期望取代。 事实上，这种近似与 Jensen 不等式密切相关，因此我们需要以下定义来量化近似误差： 

定义 1（Jensen 间隙（Gao 等人，2017 年；Simic，2008 年））。 令 x 是分布为 p(x) 的随机变量。 对于某些函数 f 可能是凸的，也可能不是凸的，Jensen 间隙定义为 

其中期望取自 p(x)。 

当

时，来自等式 (6) 的逆问题的 Jensen 间隙的闭合形式上界，从以下定理导出： 

定理 1：对于给定的测量模型 (6)，其中

我们有

其中近似误差可以用 Jensen 间隙来量化，其上界为 

备注 2：请注意，||▽_x A(x)|| 在大多数逆问题中都是有界的。 这不应与逆问题的不适定性相混淆，不适定性（ill-posedness）指的是逆算子 A^(-1) 的无界性。 因此，如果 m_1 也是有界的（实践中大多数分布都是这种情况），则当 σ → ∞ 时，定理 1 中的 Jensen 间隙可以接近 0，表明近似误差随着测量噪声的增加而减小。 这可以解释为什么我们的 DPS 对于噪声逆问题效果很好。 此外，虽然我们已将测量分布指定为高斯分布，但我们也可以以类似的方式确定其他测量分布（例如泊松分布）的 Jensen 间隙。 

利用定理1的结果，我们可以使用对数似然的近似梯度 

由于给出了测量分布，后者现在在分析上是易于处理的。 

3.2 测量的模型相关似然 

请注意，对于每个应用，我们可能有不同的测量模型 p(y|x_0)。 逆问题中最常见的两种情况是高斯噪声和泊松噪声。 在这里，我们探索如何将上述扩散后验采样适应每种情况。 

高斯噪声。似然函数的形式为 

其中 n 表示测量 y 的维度。 通过对 x_t 求 p(y|x_t) 的微分，使用定理 1 和等式 (15)，我们得到 

其中我们明确表示 ^x_0 := ^x_0(x_t) 以强调 ^x_0 是 x_t 的函数。 因此，采用梯度相当于通过网络进行反向传播。 将定理 1 到等式 (5) 的结果代入经过训练的评分函数，我们最终得出结论： 

其中

被设置为步长 

泊松噪声。独立同分布假设下，泊松测量的似然函数给出为

其中 j 索引测量 bin。 在大多数情况下，测量值并不是太小，模型可以用非常高的精度的高斯分布来近似（当 y_j > 20 时，近似值误差在 1% 以内（Hubbard，1970））。 即， 

我们使用散粒（shot）噪声模型

的标准近似来得出最后一个等式（Kingston，2013）。 然后，类似于高斯情况，通过微分和使用定理 1，我们有 

就像在高斯的情况一样，我们包含了 ρ 来定义步长。 我们可以将每个噪声模型的策略总结如下： 

将 (16) 或 (21) 合并到通常的祖先（ancestral）采样 (Ho et al., 2020) 步骤中得出算法 1,2。

在这里，我们将我们的算法命名为扩散后验采样（DPS），因为我们构建我们的方法是为了从后验分布中执行采样。 请注意，与先前将其应用限制于线性逆问题

的方法不同，我们的方法是完全通用的，因为我们还可以使用非线性算子 A(·)。 为了证明情况确实如此，在实验部分，我们采用了两个众所周知的困难非线性逆问题：傅立叶相位恢复和非均匀去模糊，并表明即使在如此具有挑战性的问题设置中，我们的方法也具有非常强大的性能。 

DPS 的几何形状以及与流形约束梯度 (manifold constrained gradient，MCG) 的连接。 有趣的是，当遵循 Chung 等人（2022a）设置 W = I 时。 我们在高斯测量情况下的方法对应于 Chung 等人 (2022a) 提出的流形约束梯度（MCG）步骤。然而，Chung 等人（2022a）在更新步骤之后通过等式（16）另外执行到测量子空间的投影，这可以被认为是针对与完美数据一致性的偏差进行的校正。 借用 Chung 等人 (2022a) 对扩散模型的解释，我们从几何角度比较生成过程。 结果表明，在扩散模型的背景下，单个去噪步骤通过 s_θ* 对应于数据流形的正交投影，并且梯度步骤

采取与当前流形相切的步骤。 对于噪声逆问题，当在每个梯度步骤之后在测量子空间上进行投影时（如 Chung 等人（2022a）所述），由于过度强加仅适用于无噪声测量的数据一致性，样本可能会脱离流形，累积误差并得出错误的解决方案，如图 3a 所示。 另一方面，我们的方法没有在测量子空间上进行投影，因此没有噪声测量的缺点（见图 3b）。 因此，虽然测量子空间上的投影对于 Chung 等人 (2022a) 试图解决的无噪逆问题很有用，但对于我们试图解决的有噪逆问题，他们剧烈地失败了。 最后，当与测量子空间上的投影步骤一起使用时，结果表明，对于 MCG 来说，为不同的应用选择不同的 W 是必要的，而我们的方法不受这种启发式的影响。 

4. 实验

实验设置。 我们在两个具有不同特征的数据集上测试我们的实验 - FFHQ 256*256（Karras 等人，2019）和 Imagenet 256*256（Deng 等人，2009），每个数据集有 1k 个验证图像。 ImageNet 的预训练扩散模型取自 Dhariwal & Nichol (2021)，直接使用，无需针对特定任务进行微调。 FFHQ 的扩散模型是使用 49k 训练数据（排除 1k 验证集）1M 步骤从头开始训练的。 所有图像均标准化到范围 [0，1]。 前向测量算子指定如下：（i）对于方块形状图像修复，我们按照 Chung 等人 (2022a) 的方法掩蔽了 128*128 个盒区域，对于随机形状，我们掩蔽掉总像素的 92%（所有 RGB 通道）。 (ii) 对于超分辨率，执行双三次（bicubic）下采样。 (iii) 高斯模糊核的大小为 61*61，标准差为 3.0，运动模糊是用 code （https://github.com/LeviBorodenko/motionblur）随机生成的，大小为 61*61，强度值为 0.5。 内核与真实图像进行卷积以产生测量结果。 (iv) 对于相位恢复，对图像进行傅里叶变换，并且仅将傅里叶幅度作为测量。 (v) 对于非线性去模糊，我们利用 Tran 等人（2021）中的神经网络近似正向模型。 所有高斯噪声均以 σ = 0.05 添加到测量域。 泊松噪声级别设置为 λ = 1.0。 包括超参数在内的更多详细信息可以在附录 B、D 中找到。

我们与以下方法进行比较：去噪扩散恢复模型（Denoising diffusion restoration models，DDRM）（Kawar et al., 2022）、流形约束梯度（manifold constrained gradients，MCG）（Chung et al., 2022a）、即插即用乘法器可替换方向方法（Plug-and-play alternating direction method of multipliers，PnP-ADMM）（Chan 等人，2016）使用 DnCNN （Zhang 等人 ，2017）代替近端映射（proximal mappings）、总变分 (total-variation，TV) 稀疏正则化优化方法 (ADMM-TV) 和 Score-SDE（Song 等人，2021b）。 请注意，Song 等人（2021b）仅提出了一种修复方法，而不是针对一般逆问题。 然而，迭代应用凸集投影 (projections onto convex sets，POCS) 的方法以同样的方式应用于迭代潜变量细化 (iterative latent variable refinement，ILVR) 中的超分辨率（Choi 等人，2021），并且更普遍地应用于 Chung 等人（2022b）中的线性逆问题 。因此，今后我们将这些方法简单地称为 score-SDE。为了公平比较，我们对基于扩散的所有不同方法（即 DPS、DDRM、MCG、score-SDE）使用相同的得分函数。 

对于相位恢复，我们与被视为标准的三个强大基线进行比较：过采样平滑度 (oversampling smoothness，OSS)（Rodriguez 等人，2013 年）、混合输入输出 (Hybrid input-output，HIO)（Fienup 和 Dainty，1987 年）和误差减少 (error reduction，ER) 算法（Fienup，1982）。 对于非线性去模糊，我们与现有技术进行比较：模糊内核空间（blur kernel space，BKS） - styleGAN2（Tran 等人，2021），基于 GAN 先验，模糊内核空间（BKS） - generic（Tran 等人，2021）， 基于超拉普拉斯先验和 MCG。附录 D 中提供了进一步的实验细节。为了进行定量比较，我们重点关注以下两个广泛使用的感知指标 - Fréchet Inception Distance (FID) 和学习感知图像块相似度 (LPIPS) 距离，并使用标准指标进行进一步评估：附录 E 中提供的峰值噪声比 (PSNR) 和结构相似性指数 (SSIM)。 

有噪线性逆问题。 我们首先在具有高斯测量噪声的各种线性逆问题上测试我们的方法。 表 1,2 中显示的定量结果表明，所提出的方法大幅优于所有其他比较方法。 特别是，MCG 和 Score-SDE（或 ILVR）是依赖于测量子空间上的投影的方法，其中生成过程受到控制，从而完全满足测量一致性。 虽然这对于无噪声（或可忽略的噪声）问题很有用，但在我们无法忽略噪声的情况下，解决方案会过度拟合损坏的测量（有关进一步讨论，请参阅附录 C.1）。 

在图 4 中，我们专门将我们的方法与 DDRM 和 PnP-ADMM 进行了比较，这两种方法已知对测量噪声具有鲁棒性。 我们的方法能够在所有任务上提供清晰且真实的高质量重建。 另一方面，我们发现 DDRM 在测量维度非常低的图像修复任务上表现不佳，并且往往在 SR 和去模糊任务上产生更模糊的结果。 我们进一步注意到，DDRM 依赖于 SVD，因此只能解决可以有效实现前向测量矩阵的问题（例如去模糊情况下的可分离内核）。 因此，虽然可以解决高斯去模糊，但无法解决诸如运动去模糊之类的问题，其中点扩散函数（point spread function，PSF）要复杂得多。 相反，我们的方法不受这些条件的限制，并且无论复杂程度如何都可以始终使用。

泊松噪声线性逆问题的结果如图 5 所示。与高斯情况一致，DPS 能够产生高度模仿真实情况的高质量重建。 从实验中，我们进一步观察到，与泊松逆问题的其他选择相比，算法 2 中采用的加权最小二乘法效果最好（进一步分析参见附录 C.4）。 

非线性逆问题。我们在表 3 中显示了相位恢复的定量结果，在表 4 中显示了非线性去模糊的结果。代表性结果如图 6 所示。我们首先观察到所提出的方法能够对给定的相位恢复问题进行高精度重建，捕获大部分高频细节。 然而，我们也观察到我们并不总是获得高质量的重建。 事实上，由于在某些条件下相位恢复的非唯一性，广泛使用的方法（例如 HIO）也依赖于初始化（Fienup，1978），因此首先生成多个重建并采用最好的样本被认为是标准做法。 接下来，在报告定量指标时，我们为所有方法生成 4 个不同的样本，并根据最佳样本报告指标。 我们看到 DPS 大大优于其他方法。 对于非线性去模糊的情况，我们再次看到我们的方法表现最好，产生高度真实的样本。 BKS-styleGAN2（Tran 等人，2021）利用 GAN 先验，因此生成可行的人脸，但严重扭曲了身份。 BKS-generic 利用超拉普拉斯先验（Krishnan & Fergus，2009），但无法正确去除伪影和噪声。 MCG 以与图 7 中讨论的类似方式放大噪声。 

5. 结论 

在本文中，我们提出了扩散后验采样（DPS）策略来解决成像中的一般噪声（信号相关/独立）逆问题。 我们的方法是通用的，因为它也可以用于高噪声和非线性逆问题。 大量实验表明，所提出的方法大大优于现有的最先进方法，并且涵盖了最广泛的问题。 

参考

Chung H, Kim J, Mccann M T, et al. Diffusion posterior sampling for general noisy inverse problems[J]. arXiv preprint arXiv:2209.14687, 2022.

附录

C. 消融研究和讨论

C.1 通过投影放大噪声

正如实验中所讨论的，在解决测量中噪声过多的逆问题时，依赖投影的方法会显着失败。 更糟糕的是，对于 SR 或去模糊等许多问题，由于应用了算子转置 A^T，噪声在投影步骤中会被放大。 图 7 清楚地描述了这一缺点，其中我们展示了 MCG（Chung 等人，2022a）在噪声超分辨率方面的失败案例。 相比之下，我们的方法不依赖于此类预测，因此对于损坏的测量结果更加稳健。 值得注意的是，我们发现即使不存在噪声，MCG 在 SR 中也会显着失败，而它在其他一些任务（例如修复）上表现良好。 我们可以得出结论，无论测量中是否存在噪声，所提出的方法在更广泛的反演问题中通常都能很好地发挥作用。

C.5 采样速度

正如文献中众所周知的那样，基于扩散模型的方法严重依赖于神经功能评估（NFE）的数量。 我们根据图 11a 中 NFE 的变化研究了 LPIPS 的性能。 在实验中，我们以噪声 SR*4 为例，与其他问题（例如，图像修复）相比，这是一个 DDRM 往往表现良好的问题。 在高 NFE 状态 (≥250) 中，DPS 优于所有其他方法，而在低 NFE 状态 (≤100) 中，DDRM 占据主导地位。 这可以归因于 DDRM 采用的 DDIM (Song et al., 2021a) 采样策略，该策略以在低 NFE 状态下具有更好的性能而闻名。 与本工作中提出的方向正交，设计一种方法来使用先进的采样器来提高这种情况下 DPS 的性能（例如 Lu 等人（2022）；Liu 等人（2022））将使该方法受益。

C.6 限制 

继承了基于扩散模型的方法的特点，本文提出的方法相对较慢，如图 11b 的运行时间分析所示。 然而，我们注意到我们的方法仍然比基于 GAN 的优化方法更快，因为我们不必微调网络本身。 此外，通过采用先进的采样器可以缓解缓慢的采样速度。 我们的方法倾向于保留图像的高频细节（例如胡须、头发、纹理），而 DDRM 等方法往往会产生相当模糊的图像。 从定性角度和面向感知的度量（即 FID、LPIPS）来看，我们的方法明显优于 DDRM。 相比之下，在 PSNR 等标准失真指标中，我们的方法表现不如 DDRM。 这可以通过感知失真权衡现象来解释（Blau & Michaeli，2018），其中保留高频细节实际上可能会影响重建，使其无法获得更好的失真度量。 最后，我们注意到，与其他问题（线性逆问题和非线性去模糊）相比，相位恢复的重建质量并不那么稳健。 由于随机性，我们经常会在后验样本中遇到失败，这可以通过简单地获取多个样本来抵消，就像其他方法一样。 设计稳定采样器的方法，特别是对于非线性相位恢复问题，将是一个有前途的研究方向。 

S. 总结

S.1 主要思想

扩散模型是强大的生成逆问题求解器，但大多数工作都专注于在无噪条件下解决简单的线性逆问题，这大大低估了现实世界问题的复杂性。本文扩展了扩散求解器，通过后验采样的近似来有效地处理一般的噪声（非线性）线性逆问题。

扩散模型通过匹配对数密度的梯度来学习基础数据分布的隐式先验。 在解决逆问题（从测量 y 中恢复 x，例如，图像修复、超分辨率、着色、压缩感知 MRI、计算机断层扫描（CT）等）时可以利用先验。给定前向模型，可以结合对数似然的梯度（即 ▽_x log p(y|x)），以便从后验分布 p(x|y) 中进行采样。 虽然这看起来很简单，但实际上似然项在扩散模型中很难分析，因为它们依赖于时间 t。 

注：扩散逆问题是另一种生成方法，不同于基于文本或图像引导的逐步去噪过程。

本文的主要贡献：

• 提出扩散后验采样（DPS），通过一种新颖的近似来规避扩散模型后验采样的棘手问题，该方法通常可应用于有噪逆问题。 
• 进一步揭示了最近提出的流形约束梯度（MCG）是该方法在测量是无噪时的特例。
• 通过几何解释，进一步表明，该方法比以前的方法更有可能在噪声条件下产生理想的样本路径。
• 此外，该方法完全在图像域而不是谱域上运行，避免了 SVD 的计算，从而可高效实现。