1. 概述

1.1. 深度生成模型

生成模型是一种可以生成数据的概率模型，它可以从训练数据集中学习到数据的潜在分布，并通过该分布来生成新数据。

生成模型在机器学习中有许多应用。

• 用于生成高保真图像
• 合成真实的语音和音乐片段
• 提高半监督学习[28,10]的性能
• 检测敌对的例子和其他异常数据
• 模仿学习
• 并探索强化学习中有可能的状态

最近的进展主要由两种方法驱动：

• 基于似然性的方法：对数似然（或合适的替代物）作为训练目标
• 生成对抗网络（GAN）：使用对抗性训练来最小化模型和数据分布之间的发散度或积分概率度量。

虽然基于似然性的模型和GANs已经取得了巨大的成功，但它们也有一些内在的局限性。

• 基于似然性的模型要么必须使用专门的架构来构建一个归一化的概率模型（例如，自回归模型，流模型），要么使用替代损失（例如，变分自动编码器中使用的证据下界，基于能量的模型中的对比发散）来进行训练。
• GANs避免了基于似然的模型的一些局限性，但由于对抗性的训练程序，它们的训练可能是不稳定的。此外，GAN目标不适合用于评价和比较不同的GAN模型。
• 虽然生成建模还存在其他目标，如噪声对比估计和最小概率流，但这些方法通常只适用于低维数据。
  
  

1.2. 本文内容

在本文中，我们探索了一种新的基于对数数据密度的（Stein）得分的估计和采样的生成建模原理，

• 得分：对数密度函数在输入数据点的梯度。这是一个指向对数数据密度增长最大的方向的向量场。
• 分数匹配：我们使用一个用分数匹配训练的神经网络来从数据中学习这个向量场。
• 样本生成：使用朗之万动力学生成样本，近似地工作原理是沿着（估计的）分数向量场逐渐移动到高密度区域。

然而，这种方法有两个主要的挑战。

• 首先，如果数据分布是在低维流形上支撑的——正如许多真实世界数据集通常假设的那样——分数将在环境空间中未定义，分数匹配将无法提供一致的分数估计器。
• 其次，在低数据密度区域缺乏训练数据，例如，远离流形，阻碍了分数估计的准确性，并减缓了朗之万动态采样的混合。1. 低密度区域分数估计不准确，而由于朗之万动力学通常会在数据分布的低密度区域中进行初始化，因此在这些区域中进行不准确的分数估计会对采样过程产生负面影响。2. 混合（多个分布混合得到的分布）可能是困难的，因为需要跨越低密度区域进行两个分布模式的切换。

为了解决这两个挑战，我们提出用不同大小的随机高斯噪声来扰动数据。

• 添加随机噪声可以确保所得到的分布不会崩溃到一个低维流形。
• 较大的噪声水平将在原始（未受扰动）数据分布的低密度区域产生样本，从而提高分数估计。

至关重要的是，我们训练一个基于噪声水平的单一分数网络，并估计所有噪声大小的分数。然后，我们提出了一个退火的朗之万动力学版本，其中我们首先使用对应于最高噪声水平的分数，并逐步退火到噪声水平，直到它足够小，与原始数据分布难以区分。我们的采样策略受到模拟退火的启发，它启发式地改进了多模态尺度的优化。

我们的方法有几个理想的特性。

• 首先，我们的目标是易于处理几乎所有分数网络的参数化，而不需要特殊的约束或架构，并且可以在训练期间没有对抗性训练、MCMC抽样或其他近似的情况下进行优化。
• 该目标还可用于定量比较同一数据集上的不同模型。

通过实验证明了我们的方法对MNIST、CelebA 和CIFAR-10 的有效性。

我们表明，这些样本看起来可以与基于似然性的模型和GANs生成的样本相比较。

• 在CIFAR-10上，我们的模型为无条件生成模型设置了新的初始分数8.87，并获得了25.32的具有竞争性FID分数。
• 通过图像修复实验该模型学习有意义的数据表示。

2. 基于得分的生成模型

假设我们的数据集由来自一个未知的数据分布$p_{\text{data }}(\mathbf{x})$组成i.i.d.样本${\left\{{\mathbf{x}}_i\in {\mathbb{R}}^D\right\}}_{i=1}^N$。

• 我们将一个概率密度$p(x)$的分数定义为${\nabla }_{\mathbf{x}}\log p(\mathbf{x})$
• ${\mathbf{s}}_{\mathbf{\theta }}:{\mathbb{R}}^D\to {\mathbb{R}}^D$是一个由$\theta$参数化的神经网络，它将被训练来近似$p_{data}(x)$的分数。

生成建模的目标是使用数据集来学习模型，从${\nabla }_{\mathbf{x}}\log p(\mathbf{x})$生成新的样本。

基于分数的生成建模框架有两个组成部分：分数匹配和朗之万动力学。

2.1. 分数匹配

分数匹配最初是为学习基于一个未知数据分布i.i.d.的样本而设计的非归一化统计模型。我们重新使用它来进行分数估计。使用分数匹配，我们可以直接训练一个分数网络$s_{\theta }(x)$来估计${\nabla }_{x}log{p}_{data}(x)$，而不需要首先训练一个模型来估计$p_{data}(x)$

本文的分数匹配：与典型的分数匹配用法不同，我们选择不使用基于能量的模型的梯度作为分数网络，以避免由于高阶梯度而导致的额外计算。

目标是最小化$\mathcal{L}={\mathbb{E}}_{p(\mathbf{x})}\left[{\Vert {\nabla }_{\mathbf{x}}\log p(\mathbf{x})-{\mathbf{s}}_{\theta }(\mathbf{x})\Vert }_2^2\right]$，它等价于以下式子乘上一个常数
$$\mathcal{L}={\mathbb{E}}_{p(\mathbf{x})}\left[{\Vert {\mathbf{s}}_{\theta }(\mathbf{x})\Vert }^2+2\mathrm{tr}\left({\nabla }_{\mathbf{x}}{\mathbf{s}}_{\theta }(\mathbf{x})\right)\right]$$
其中 ${\nabla }_{\mathbf{x}}{\mathbf{s}}_{\mathbf{\theta }}(\mathbf{x})$表示${\mathbf{s}}_{\mathbf{\theta }}(\mathbf{x})$的Jacobian矩阵.

证明如下:
$$\begin{array}{rl}J(\theta )& =\frac{1}{2}{\int }_{x\in {\mathbb{R}}^n}p(x){\Vert s(x;\theta )-{\nabla }_x\log p(x)\Vert }^{2}dx\\ & ={\int }_{x\in {\mathbb{R}}^n}p(x)\left[\frac{1}{2}{\Vert {\nabla }_x\log p(x)\Vert }^2+\frac{1}{2}\Vert s(x;\theta ){\Vert }^2-{\left({\nabla }_x\log p(x)\right)}^{T}s(x;\theta )\right]dx\end{array}$$
其中第一项为常数（与参数 $\theta$ 无关），第二项可以拆开，第三项通过部分积分技巧化解。

• 第二项: $\frac{1}{2}\Vert s(x;\theta ){\Vert }^2=\frac{1}{2}{\sum }_{i=1}^n{\left(s_i(x;\theta )\right)}^2$ 。
• 第三项:
  $$\begin{array}{rl}-{\int }_{x\in {\mathbb{R}}^n}p(x){\left({\nabla }_x\log p(x)\right)}^{T}s(x;\theta )dx& =-{\int }_{x\in {\mathbb{R}}^n}p(x)\sum _{i=1}^n\frac{\partial \log p(x)}{\partial x_i}{s}_i(x;\theta )dx\\ & =-\sum _{i=1}^n{\int }_{x\in {\mathbb{R}}^n}p(x)\frac{\partial \log p(x)}{\partial x_i}{s}_i(x;\theta )dx\end{array}$$
  单独考虑第 $i$ 项，
  $$-{\int }_{x\in {\mathbb{R}}^n}p(x)\frac{\partial \log p(x)}{\partial x_i}{s}_i(x;\theta )dx=-{\int }_{x\in {\mathbb{R}}^n}\frac{p(x)}{p(x)}\frac{\partial p(x)}{\partial x_i}{s}_i(x;\theta )dx=-{\int }_{x\in {\mathbb{R}}^n}\frac{\partial p(x)}{\partial x_i}{s}_i(x;\theta )dx$$
  分部积分技巧 (一维，即只有 $x_1$ 是变量，其他值 $x_2,x_3,\dots ,x_n$ 为常量) :
  $$\begin{array}{rl}& {\int }_b^a[p(x){]}^{\prime }s(x;\theta )d{x}_1+{\int }_b^{a}p(x)[s(x;\theta ){]}^{\prime }d{x}_1={\int }_b^a[p(x)s(x;\theta ){]}^{\prime }d{x}_1\\ & =\underset{a\to \infty ,b\to -\infty }{\lim }[p\left(a,x_2,\dots ,x_n\right)s\left(a,x_2,\dots ,x_n;\theta \right)-p\left(b,x_2,\dots ,x_n\right)s(b,x_2,\dots ,x_n;\theta )]\end{array}$$
  上式做了假设，当 $x\to \infty$ ，则 $p(x)s(x;\theta )\to 0$ 。因此，第三项可以表示为
  $$-{\int }_{x\in {\mathbb{R}}^n}p(x){\left({\nabla }_x\log p(x)\right)}^{T}s(x;\theta )dx=\sum _{i=1}^n{\int }_{x\in {\mathbb{R}}^n}p(x)\frac{\partial s(x;\theta )}{\partial x_i}dx$$
  

2.1.1. 去噪分数匹配

思路：它首先用预先指定的噪声分布$q_{\sigma }(\tilde{\mathbf{x}}\mid \mathbf{x})$扰动数据点$x$，然后采用分数匹配来估计“扰动数据分布”$q_{\sigma }(\tilde{\mathbf{x}})\triangleq \int q_{\sigma }(\tilde{\mathbf{x}}\mid \mathbf{x})p_{\text{data }}(\mathbf{x})\mathrm{d}\mathbf{x}$的分数。

等价的目标：其目标已被证明等价于：
$$\frac{1}{2}{\mathbb{E}}_{q_{\sigma }(\tilde{\mathbf{x}}\mid \mathbf{x})p_{\text{data }}(\mathbf{x})}\left[{\Vert {\mathbf{s}}_{\mathbf{\theta }}(\tilde{\mathbf{x}})-{\nabla }_{\tilde{\mathbf{x}}}\log q_{\sigma }(\tilde{\mathbf{x}}\mid \mathbf{x})\Vert }_2^2\right]$$
【61】证明了使上式最小化的最优评分网络（表示为${\mathbf{s}}_{{\mathbf{\theta }}^{\ast }}(\mathbf{x})$）满足${\mathbf{s}}_{{\mathbf{\theta }}^{\ast }}(\mathbf{x})={\nabla }_{\mathbf{x}}\log q_{\sigma }(\mathbf{x})$。只有当噪音足够小使得$q_{\sigma }(\mathbf{x})\approx p_{\text{data }}(\mathbf{x})$，才有${\mathbf{s}}_{{\mathbf{\theta }}^{\ast }}(\mathbf{x})={\nabla }_{\mathbf{x}}\log q_{\sigma }(\mathbf{x})\approx {\nabla }_{\mathbf{x}}\log p_{\text{data }}(\mathbf{x})$。

2.1.2. 切片分数匹配

思路：切片分数匹配【53】使用随机投影来近似分数匹配中的$tr({\nabla }_x{s}_{\theta }(x))$

等价的目标：其目标已被证明等价于：
$${\mathbb{E}}_{p_{\mathbf{v}}}{\mathbb{E}}_{p_{\text{data }}}\left[{\mathbf{v}}^{\top }{\nabla }_{\mathbf{x}}{\mathbf{s}}_{\mathbf{\theta }}(\mathbf{x})\mathbf{v}+\frac{1}{2}{\Vert {\mathbf{s}}_{\mathbf{\theta }}(\mathbf{x})\Vert }_2^2\right]$$
其中$p_v$是随机向量的简单分布，例如，多元标准正态。

计算：${\mathbf{v}}^{\top }{\nabla }_{\mathbf{x}}{\mathbf{s}}_{\mathbf{\theta }}(\mathbf{x})\mathbf{v}$可以通过正向模式自微分有效地计算。与去噪分数匹配估计扰动数据的分数不同，切片分数匹配提供了原始未扰动数据分布的分数估计，但由于前向模式的自微分，需要大约4倍以上的计算。

2.2. 朗之万动力学采样

朗之万动力学可以仅使用分数函数${\nabla }_{x}logp(x)$从概率密度$p(x)$中产生样本。

给定一个固定的步长$ϵ>0$，以及一个初始值${\tilde{x}}_0\sim \pi (x)$，其中$\pi$是一个先验分布，朗之万方法递归地计算以下内容
$${\tilde{\mathbf{x}}}_t={\tilde{\mathbf{x}}}_{t-1}+\frac{ϵ}{2}{\nabla }_{\mathbf{x}}\log p\left({\tilde{\mathbf{x}}}_{t-1}\right)+\sqrt{ϵ}{\mathbf{z}}_t$$
其中 ${\mathbf{z}}_t\sim \mathcal{N}(0,I)$. 当$ϵ\to 0$ ，$T\to \infty$，${\tilde{\mathbf{x}}}_T$分布等于$p(\mathbf{x})$ ，此时在特定条件下[62]，${\tilde{\mathbf{x}}}_T$ 成为直接从$p(\mathbf{x})$采样。

• 当$ϵ>0$， $T<\infty$, 需要Metropolis-Hastings 更新修正上式误差。实际中，误差可忽略[9, 12, 39].
• 本文假设$ϵ$ 足够小，$T$ 足够大时误差可忽略.
  
  请注意，从上式中进行的采样只需要分数函数${\nabla }_{x}logp(x)$。
• 为了从$p_{data}(x)$中获得样本，我们可以首先训练我们的评分网络，使$s\theta (x)\approx {\nabla }_{x}log{p}_{data}(x)$，
• 然后使用$s_{\theta }(x)$近似获得朗之万动态样本。

这是我们的基于分数的生成建模框架的关键思想。

3. 基于分数的生成式建模所面临的挑战

在本节中，我们将更仔细地分析基于分数的生成建模的概念。我们认为，有两个主要的障碍阻止了这个想法的应用。

3.1. 流形假说

流形假设指出，现实世界中的数据倾向于集中于嵌入在高维空间（即环境空间）中的低维流形。

这一假设的经验适用于许多数据集，并已成为流形学习[3,47]的基础。在流形假设下，基于分数的生成模型将面临两个关键的困难。

• 首先，由于分数${\nabla }_{x}log{p}_{data}(x)$是在环境空间(ambient space)中取的一个梯度，当$x$被限制在一个低维流形时，它是未定义的。
• 第二，得分匹配目标等式(1)只有当数据分布的支持集是整个空间时（参见[24]中的定理2），才能提供一致的分数估计器，当数据分布在低维流形上时，就会不一致。

图1，我们训练一个ResNet（详见附录B.1）来估计CIFAR-10上的数据得分，可以清楚地看到流形假设对得分估计的负面影响。

• 为了快速训练和忠实地估计数据分数，我们使用切片分数匹配目标($Eq.(3)$). 如图1（左）所示，在原始CIFAR-10图像上进行训练时，切片分数匹配损失首先减小，然后不规则地波动。
• 如果我们用一个小的高斯噪声扰动数据（这样扰动数据分布完全支持集${\mathbb{R}}^D$），损失曲线将收敛（右面板）。请注意，我们所施加的高斯噪声$N(0,0.0001)$对于像素值在$[0,1]$范围内的图像非常小，并且对人眼几乎无法区分。

3.2. 低数据密度区域

低密度区域数据的缺乏会导致分数匹配的分数估计和朗之万动力学的MCMC抽样造成困难。

3.2.1 与分数匹配的分数估计不准确

在数据密度较低的地区，由于缺乏数据样本，评分匹配可能没有足够的证据来准确估计评分函数。

得分匹配可以使得分估计的预期平方误差最小化，即，
$$\frac{1}{2}{\mathbb{E}}_{p_{\text{data }}}\left[{\Vert {\mathbf{s}}_{\mathbf{\theta }}(\mathbf{x})-{\nabla }_{\mathbf{x}}\log p_{\text{data }}(\mathbf{x})\Vert }_2^2\right]$$
在实践中，关于数据分布的期望值总是使用i.i.d.样本进行估计
{ x i } i = 1 N ∼  i.i.d.  p data  ( x ) . \left\{\mathbf{x}_i\right\}_{i=1}^N \stackrel{\text { i.i.d. }}{\sim} p_{\text {data }}(\mathbf{x}) . {xi​}i=1N​∼ i.i.d. pdata ​(x).
考虑任何区域$\mathcal{R}\subset {\mathbb{R}}^D$使得$p_{\text{data }}(\mathcal{R})\approx 0$，在多数情况下 { x i } i = 1 N ∩ R = ∅ \left\{\mathbf{x}_i\right\}_{i=1}^N \cap \mathcal{R}=\varnothing {xi​}i=1N​∩R=∅，而对于$x\in R$，分数匹配将没有足够的数据样本来准确估计的${\nabla }_{x}log{p}_{data}(x)$。

为了证明这一点的负面影响，我们在图2中提供了一个玩具实验的结果（详见附录B.1），其中我们使用切片分数匹配来估计混合高斯分布$p_{\text{data }}=\frac{1}{5}\mathcal{N}((-5,-5),I)+\frac{4}{5}\mathcal{N}((5,5),I)$的分数

左图 ${\nabla }_{\mathbf{x}}\log p_{\text{data }}(\mathbf{x});$ 右图${\mathbf{s}}_{\mathbf{\theta }}(\mathbf{x})$. 得分是对数密度函数在输入数据点的梯度，这是一个指向对数数据密度增长最大的方向的向量场。数据密度$p_{data}(x)$使用橙色的颜色图进行编码：颜色越深意味着密度越高。红色矩形突出显示区域${\nabla }_{\mathbf{x}}\log p_{\mathrm{data}}(\mathbf{x})\approx {\mathbf{s}}_{\mathbf{\theta }}(\mathbf{x})$. 如图所示，得分估计仅在数据密度较高的$p_{data}$模式附近才会可靠。

3.2.2. 朗之万动力学的缓慢混合

1. 考虑混合分布$p_{\text{data }}(\mathbf{x})=\pi p_1(\mathbf{x})+(1-\pi )p_2(\mathbf{x})$, 其中 $p_1(\mathbf{x})$，$p_2(\mathbf{x})$ 是有互不相交支持集的正态分布, $\pi \in (0,1)$.

• 在$p_1(\mathbf{x})$的支持集, ${\nabla }_{\mathbf{x}}\log p_{\text{data }}(\mathbf{x})=$ ${\nabla }_{\mathbf{x}}\left(\log \pi +\log p_1(\mathbf{x})\right)={\nabla }_{\mathbf{x}}\log p_1(\mathbf{x})$,
• 在$p_2(\mathbf{x})$的支持集, ${\nabla }_{\mathbf{x}}\log p_{\text{data }}(\mathbf{x})={\nabla }_{\mathbf{x}}(\log (1-$ $\pi )+\log p_2(\mathbf{x}))={\nabla }_{\mathbf{x}}\log p_2(\mathbf{x})$.

在任意情形, ${\nabla }_{\mathbf{x}}\log p_{\text{data }}(\mathbf{x})$ 不依赖于 $\pi$. 因为Langevin动力学用 ${\nabla }_{\mathbf{x}}\log p_{\text{data }}(\mathbf{x})$从$p_{\text{data }}(\mathbf{x})$采样, 样本的采取不依赖于$\pi$。

2. 在实践中，当不同的模式具有近似不相交的支持时，这种分析也适用——它们可能共享相同的支持，但由小数据密度的区域连接。在这种情况下，朗之万动力学在理论上可以产生正确的样本，但可能需要一个非常小的步长和非常大量的步骤来混合。

为了验证这一分析结果，我们对第3.2.1节中使用的相同高斯分布混合物的朗之万动态采样进行了测试，并提供了图3中的结果。

• 当使用朗之万动力学进行抽样时，我们使用地面真实分数。
• 将图3(b)与(a)进行比较，可以明显看出，朗之万动力学样本在两种模式之间的相对密度不正确，正如我们分析预测的那样。

图3：来自不同方法的高斯分布的混合样本。(a)精确抽样。(b)抽样使用朗之万动力学与精确的分数。( c)采样使用退火朗之万动力学与精确的分数。显然，朗之万动力学错误地估计了两种模态之间的相对权重，而退火后的朗之万动力学则忠实地恢复了相对权重。

4. 噪声条件评分网络：学习和推理

我们观察到，使用随机高斯噪声扰动数据会使数据分布更适合于基于分数的生成建模。

• 首先，由于我们的高斯噪声分布的支持是整个空间，扰动数据将不局限于一个低维流形，这消除了流形假设的困难，并使分数估计定义良好。
• 其次，大高斯噪声在原始无扰动数据分布中有填充低密度区域的效果；因此，分数匹配可以得到更多的训练信号来提高分数估计。
• 此外，通过使用多个噪声水平，我们可以得到一系列收敛于真实数据分布的噪声扰动分布。本着模拟退火[30]和退火重要性采样[37]的精神，我们可以通过利用这些中间分布来提高朗之万动力学在多模态分布上的混合速率。

基于这种直觉，我们建议改进基于分数的生成建模，

• 1)使用不同水平的噪声扰动数据；
• 2)通过训练单个条件分数网络，同时估计所有噪声水平对应的分数。
• 训练后，当使用朗之万动力学生成样本时，我们首先使用大噪声对应的分数，并逐渐降低噪声水平进行退火。这有助于平滑地将大噪声水平的好处转移到低噪声水平，其中扰动数据与原始数据几乎难以区分。

在接下来的内容中，我们将详细阐述我们的方法的细节，包括我们的分数网络的架构、训练目标和朗之万动力学的退火时间表。

4.1. 噪声条件评分网络

• 令 { σ i } i = 1 L \left\{\sigma_i\right\}_{i=1}^L {σi​}i=1L​ 是正的几何序列满足$\frac{{\sigma }_1}{{\sigma }_2}=\cdots =\frac{{\sigma }_{L-1}}{{\sigma }_L}>1$.
• 令$q_{\sigma }(\mathbf{x})\triangleq$ $\int p_{\text{data }}(\mathbf{t})\mathcal{N}\left(\mathbf{x}\mid \mathbf{t},{\sigma }^{2}I\right)\mathrm{d}\mathbf{t}$ 表示扰动的数据分布.
• 选择噪声水平 { σ i } i = 1 L \left\{\sigma_i\right\}_{i=1}^L {σi​}i=1L​使得 ${\sigma }_1$足够大从而消除Section 3中的困难 , ${\sigma }_L$足够小来最小化数据的影响.

我们的目标是训练一个条件分数网络来联合估计所有扰动数据分布的分数, i.e., ∀ σ ∈ { σ i } i = 1 L : s θ ( x , σ ) ≈ ∇ x log ⁡ q σ ( x ) \forall \sigma \in\left\{\sigma_i\right\}_{i=1}^L: \mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x}, \sigma) \approx \nabla_{\mathbf{x}} \log q_\sigma(\mathbf{x}) ∀σ∈{σi​}i=1L​:sθ​(x,σ)≈∇x​logqσ​(x). 当 $\mathbf{x}\in {\mathbb{R}}^D$，${\mathbf{s}}_{\mathbf{\theta }}(\mathbf{x},\sigma )\in {\mathbb{R}}^D$ . 称${\mathbf{s}}_{\mathbf{\theta }}(\mathbf{x},\sigma )$ 噪声条件评分网络 ( NCSN).

与基于似然的生成模型和GANs类似，模型架构的设计在生成高质量的样本方面起着重要的作用。

在这项工作中，我们主要关注对图像生成有用的体系结构，并将体系结构设计留给其他领域作为未来的工作。由于我们的噪声条件评分网络$s_{\theta }(x,\sigma )$的输出与输入的图像$x$具有相同的形状，我们从成功的图像密集预测模型架构（如语义分割）中获得灵感。

• 在实验中，我们的模型$s_{\theta }(x,\sigma )$结合了U-Net [46]的架构设计与扩张/无张力卷积——这两种方法在语义分割中都被证明是非常成功的。
• 此外，我们在分数网络中采用实例归一化，灵感来自于它在一些图像生成任务中的优越性能

4.2. 通过分数匹配来学习NCSNs

切片和去噪分数匹配都可以训练NCSNs。我们采用去噪分数匹配，因为它稍微快一点，并且自然地适合于估计噪声扰动数据分布的分数的任务。然而，我们强调，经验切片分数匹配可以和去噪分数匹配一样训练NCSNs。

选择噪声分布$q_{\sigma }(\tilde{\mathbf{x}}\mid \mathbf{x})=\mathcal{N}\left(\tilde{\mathbf{x}}\mid \mathbf{x},{\sigma }^{2}I\right)$，则${\nabla }_{\tilde{\mathbf{x}}}\log q_{\sigma }(\tilde{\mathbf{x}}\mid \mathbf{x})=-(\tilde{\mathbf{x}}-\mathbf{x})/{\sigma }^2$。对于一个给定的$\sigma$，去噪分数匹配目标(Eq(2))是
$$\ell (\mathbf{\theta };\sigma )\triangleq \frac{1}{2}{\mathbb{E}}_{p_{\text{data }}(\mathbf{x})}{\mathbb{E}}_{\tilde{\mathbf{x}}\sim \mathcal{N}\left(\mathbf{x},{\sigma }^{2}I\right)}\left[{\Vert {\mathbf{s}}_{\mathbf{\theta }}(\tilde{\mathbf{x}},\sigma )+\frac{\tilde{\mathbf{x}}-\mathbf{x}}{{\sigma }^2}\Vert }_2^2\right]$$
然后，我们结合上式为所有的 σ ∈ { σ i } i = 1 L \sigma \in\left\{\sigma_i\right\}_{i=1}^L σ∈{σi​}i=1L​得到一个统一的目标
L ( θ ; { σ i } i = 1 L ) ≜ 1 L ∑ i = 1 L λ ( σ i ) ℓ ( θ ; σ i ) , \mathcal{L}\left(\boldsymbol{\theta} ;\left\{\sigma_i\right\}_{i=1}^L\right) \triangleq \frac{1}{L} \sum_{i=1}^L \lambda\left(\sigma_i\right) \ell\left(\boldsymbol{\theta} ; \sigma_i\right), L(θ;{σi​}i=1L​)≜L1​i=1∑L​λ(σi​)ℓ(θ;σi​),
其中$\lambda \left({\sigma }_i\right)>0$是取决于${\sigma }_i$系数函数。

• 假设${\mathbf{s}}_{\mathbf{\theta }}(\mathbf{x},\sigma )$有足够能力，因为“上式”是$L$个去噪分数匹配目标的圆锥形组合，则对所有 i ∈ { 1 , 2 , ⋯   , L } i \in\{1,2, \cdots, L\} i∈{1,2,⋯,L}，${\mathbf{s}}_{{\mathbf{\theta }}^{\ast }}(\mathbf{x},\sigma )$ 最小化 L ( θ ; { σ i } i = 1 L ) \mathcal{L}\left(\boldsymbol{\theta} ;\left\{\sigma_i\right\}_{i=1}^L\right) L(θ;{σi​}i=1L​)等价于${\mathbf{s}}_{{\mathbf{\theta }}^{\ast }}\left(\mathbf{x},{\sigma }_i\right)={\nabla }_{\mathbf{x}}\log q_{{\sigma }_i}(\mathbf{x})$ a.s.
• $\lambda (\cdot )$可能有很多可能的选择。理想情况下，我们希望所有 { σ i } i = 1 L \left\{\sigma_i\right\}_{i=1}^L {σi​}i=1L​的$\lambda \left({\sigma }_i\right)\ell \left(\mathbf{\theta };{\sigma }_i\right)$的值是大致具有相同的数量级。根据经验，我们观察到，当分数网络被训练到最优性时，我们大约有${\Vert {\mathbf{s}}_{\mathbf{\theta }}(\mathbf{x},\sigma )\Vert }_2\propto 1/\sigma$，这激励着我们去选择$\lambda (\sigma )={\sigma }^2$，因为
  $$\lambda (\sigma )\ell (\mathbf{\theta };\sigma )={\sigma }^2\ell (\mathbf{\theta };\sigma )=\frac{1}{2}\mathbb{E}\left[{\Vert \sigma {\mathbf{s}}_{\mathbf{\theta }}(\tilde{\mathbf{x}},\sigma )+\frac{\tilde{\mathbf{x}}-\mathbf{x}}{\sigma }\Vert }_2^2\right]$$
  因为$\frac{\tilde{\mathbf{x}}-\mathbf{x}}{\sigma }\sim \mathcal{N}(0,I)$，${\Vert \sigma {\mathbf{s}}_{\mathbf{\theta }}(\mathbf{x},\sigma )\Vert }_2\propto 1$，我们可以很容易地得出$\lambda (\sigma )\ell (\mathbf{\theta };\sigma )$的数量级并不取决于$\sigma$。

我们强调，我们的目标不需要对抗性训练，不需要替代损失，在训练期间不需要从分数网络中抽样（例如，不像对比差异）。此外，它也不需要$s_{\theta }(x,\sigma )$有特殊的架构才能易于处理。此外，当$\lambda (\cdot )$和 { σ i } i = 1 L \{σ_i\}^L_{i=1} {σi​}i=1L​固定时，它可以用于定量比较不同的NCSNs。

4.3. 通过退火的朗之万动力学进行NCSN推断

在训练了NCSN $s_{\theta }(x,\sigma )$后，我们提出了一种采样方法-退火朗之万动力学(Alg.1)-产生样本，启发来自模拟退火和退火重要采样

• 如Alg1中所示，我们通过从一些固定的先验分布中（例如，均匀噪声）初始化样本开始退火的朗之万动力学。
• 然后，我们运行朗之万动力学，从步长为${\alpha }_1$的$q_{{\sigma }_1}(x)$中进行采样。
• 接下来，我们运行朗之万动力学从$q_{{\sigma }_2}(x)$中样本，从之前模拟的最终样本开始，并使用减少的步长${\alpha }_2$。
• 我们继续以这种方式，使用$q_{{\sigma }_{i-1}}(x)$的朗之万动力学的动态样本作为$q_{{\sigma }_i}(x)$的朗之万动力学的初始样本，并逐步调整步长${\alpha }_i$为${\alpha }_i=ϵ\cdot {\sigma }_i^2/{\sigma }_L^2$。
• 最后，我们运行朗之万动力学从$q_{{\sigma }_L}(x)$中采样，当${\sigma }_L\approx 0$时，它接近于$p_{data}(x)$。

算法克服了以上挑战

• 由于分布 { q σ i } i = 1 L \{q_{σ_i}\} ^L_{ i=1} {qσi​​}i=1L​都受到高斯噪声的扰动，它们的支持集跨越了整个空间，它们的分数定义明确，避免了流形假设的困难。
• 当${\sigma }_1$足够大时，$q_{{\sigma }_1}(x)$的低密度区域变得很小，模态变得不那么孤立。如前所述，这可以使分数估计更准确，并加快朗之万动力学的混合速度。分析：我们可以假设朗之万动力学为$q_{{\sigma }_1}(x)$产生了良好的样本。这些样品很可能来自$q_{{\sigma }_1}(x)$的高密度区域，这意味着它们也可能位于$q_{{\sigma }_2}(x)$的高密度区域，因为$q_{{\sigma }_1}(x)$和$q_{{\sigma }_2}(x)$彼此之间仅略有不同。由于评分估计和朗之万动力学在高密度区域表现更好，来自$q_{{\sigma }_1}(x)$的样本将作为$q_{{\sigma }_2}(x)$朗之万动力学的良好初始样本。同样，$q_{{\sigma }_{i-1}}(x)$为$q_{{\sigma }_i}(x)$提供了良好的初始样本，最后我们从$q_{{\sigma }_L}(x)$中获得了高质量良好的样本。

根据${\sigma }_i$，${\alpha }_i$有多个选择. 我们的选择是${\alpha }_i\propto {\sigma }_i^2$.

动机是固定朗之万动力学"signal-to-noise" 比例$\frac{{\alpha }_i{\mathbf{s}}_{\theta }\left(\mathbf{x},{\sigma }_i\right)}{2\sqrt{{\alpha }_i}\mathbf{z}}$ 的量级.

• $\mathbb{E}\left[{\Vert \frac{{\alpha }_i{\mathbf{s}}_{\theta }\left(\mathbf{x},{\sigma }_i\right)}{2\sqrt{{\alpha }_i}\mathbf{z}}\Vert }_2^2\right]\approx \mathbb{E}\left[\frac{{\alpha }_i{\Vert {\mathbf{s}}_{\mathbf{\theta }}\left(\mathbf{x},{\sigma }_i\right)\Vert }_2^2}{4}\right]\propto \frac{1}{4}\mathbb{E}\left[{\Vert {\sigma }_i{\mathbf{s}}_{\mathbf{\theta }}\left(\mathbf{x},{\sigma }_i\right)\Vert }_2^2\right]$.
• 由于经验可得当分数网络的训练接近最优时，${\Vert {\mathbf{s}}_{\mathbf{\theta }}(\mathbf{x},\sigma )\Vert }_2\propto 1/\sigma$，此时 $\mathbb{E}\left[{\Vert {\sigma }_i{\mathbf{s}}_{\mathbf{\theta }}\left(\mathbf{x};{\sigma }_i\right)\Vert }_2^2\right]\propto 1$. 因此 ${\Vert \frac{{\alpha }_i{\mathbf{s}}_{\mathbf{\theta }}\left(\mathbf{x},{\sigma }_i\right)}{2\sqrt{{\alpha }_i}\mathbf{z}}\Vert }_2\propto \frac{1}{4}\mathbb{E}\left[{\Vert {\sigma }_i{\mathbf{s}}_{\mathbf{\theta }}\left(\mathbf{x},{\sigma }_i\right)\Vert }_2^2\right]\propto \frac{1}{4}$ 不取决于${\sigma }_i$.

为了证明我们退火朗之万动力学的有效性，我们提供了一个玩具例子，其中目标是仅使用分数从两种良好分离模式的高斯混合物中采样。

我们应用Alg1.以从第3.2节中使用的高斯分布的混合物中取样。在实验中，我们选择 { σ i } i = 1 L \{σ_i\}^L_{i=1} {σi​}i=1L​为几何级数，其中$L=10$，${\sigma }_1=10$和${\sigma }_{10}=0.1$。实验结果见图3。对比图3 (b)与(c )，退火后的朗之万动力学正确地恢复了两种模式之间的相对权重，而标准的朗之万动力学则失效。