五，逆扩散过程(Reverse Process)

逆过程是从高斯噪声中恢复原始数据，我们可以假设它也是一个高斯分布，但是无法逐步地去拟合分布，所以需要构建一个参数分布来取做估计。逆扩散过程仍然是一个马尔科夫链过程。

$$p_{\theta }({\mathrm{x}}_{0:\mathrm{T}})=p({\mathrm{x}}_{\mathrm{T}})\prod _{t=1}^T{p}_{\theta }({\mathrm{x}}_{\mathrm{t}-1}|{\mathrm{x}}_{\mathrm{t}})p_{\theta }({\mathrm{x}}_{\mathrm{t}-1}|{\mathrm{x}}_{\mathrm{t}})=\mathcal{N}({\mathrm{x}}_{\mathrm{t}-1};{\mu }_{\theta }({\mathrm{x}}_{\mathrm{t}},\mathrm{t}),{\Sigma }_{\theta }(x_t,t)))$$

因为在加噪的过程中 ${\beta }_t\in (0,1)$ 是一个很小的数，所以有理由假设逆扩散过程，即从$x_T\to x_0$ 也是一个高斯分布，即假设$p_{\theta }({\mathrm{x}}_{\mathrm{t}-1}|{\mathrm{x}}_{\mathrm{t}})=\mathcal{N}({\mathrm{x}}_{\mathrm{t}-1};{\mu }_{\theta }({\mathrm{x}}_{\mathrm{t}},\mathrm{t}),{\Sigma }_{\theta }(x_t,t)))$, 但是无法去逐步拟合这个分布(需要生成一堆的$x_t$, 用类似于GMM那样去拟合$x_{t-1}$, 同样的方法，依次拟合出$x_{t-2}\cdots x_0$,则整个过程需要遍历整个数据集，会比较麻烦)， 所以我们希望$构建一个参数网络来做估计$。

假设现有含参$\theta$这样的一个网络$p_{\theta }({\mathrm{x}}_{\mathrm{t}-1}|{\mathrm{x}}_{\mathrm{t}})$:

六，扩散过程中的后验的条件概率$q(x_{t-1}|x_t,x_0)$

或者也可以叫：后验的扩散条件概率$q(x_{t-1}|x_t,x_0)$分布是可以用公式表达的
也就是说，给定$x_t$和$x_0$，我们是可以计算出$x_{t-1}$的, 并且我们假设它也是服从高斯分布的。

即正常的扩散过程的条件概率为$q(x_{t-1}|x_0)$, 现在我们又知道了 $x_t$ 的信息，所以有后验的扩散条件概率$q(x_{t-1}|x_t,x_0)$

注意：
高斯分布的概率密度函数是$f(x)=\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$
注意：$a{x}^2+bx=a(x+\frac{b}{2a}{)}^2+C④$

$$q({\mathrm{x}}_{\mathrm{t}-1}|{\mathrm{x}}_{\mathrm{t}},{\mathrm{x}}_0)=\mathcal{N}({\mathrm{x}}_{\mathrm{t}-1};\stackrel{\sim }{\mu }({\mathrm{x}}_{\mathrm{t}},{\mathrm{x}}_0),\stackrel{\sim }{{\beta }_t}\mathrm{I})$$
Using Bayes’ rule, we have:

需要用到的前面的公式：
$q(x_t|x_{t-1})=\mathcal{N}(x_t;\sqrt{1-{\beta }_t}{x}_{t-1},{\beta }_{t}I),{\beta }_t$是方差，标准差是$\sqrt{{\beta }_t}$
$q(x_t|x_0)=\mathcal{N}(x;\sqrt{{\bar{\alpha }}_t}{x}_0,(1-{\bar{\alpha }}_t)I)$,其中，方差为$(1-{\bar{\alpha }}_t)I$, 即${\sigma }^2$
$a{x}^2+bx=a(x+\frac{b}{2a}{)}^2+C$

$$\begin{array}{rl}q({\mathrm{x}}_{\mathrm{t}-1}|{\mathrm{x}}_{\mathrm{t}},{\mathrm{x}}_0)& =q({\mathrm{x}}_{\mathrm{t}}|{\mathrm{x}}_{\mathrm{t}-1},{\mathrm{x}}_0)\frac{q({\mathrm{x}}_{\mathrm{t}-1}|{\mathrm{x}}_0)}{q({\mathrm{x}}_{\mathrm{t}}|{\mathrm{x}}_0)}（q({\mathrm{x}}_{\mathrm{t}}|{\mathrm{x}}_{\mathrm{t}-1},{\mathrm{x}}_0)\stackrel{MarkovProperty}{=}q({\mathrm{x}}_{\mathrm{t}}|{\mathrm{x}}_{\mathrm{t}-1})）\\ & \propto exp\left(-\frac{1}{2}\left(\frac{({\mathrm{x}}_{\mathrm{t}}-\sqrt{{\alpha }_t}{\mathrm{x}}_{\mathrm{t}-1}{)}^2}{{\beta }_t}+\frac{({\mathrm{x}}_{\mathrm{t}-1}-\sqrt{{\bar{\alpha }}_{t-1}}{\mathrm{x}}_0{)}^2}{1-{\bar{\alpha }}_{t-1}}-\frac{({\mathrm{x}}_{\mathrm{t}}-\sqrt{{\bar{\alpha }}_t}{\mathrm{x}}_0{)}^2}{1-{\bar{\alpha }}_t}\right)\right)\\ & =exp\left(-\frac{1}{2}\left(\left(\frac{{\alpha }_t}{{\beta }_t}+\frac{1}{1-{\bar{\alpha }}_{t-1}}\right){\mathrm{x}}_{\mathrm{t}-1}^2-\left(\frac{2\sqrt{{\alpha }_t}}{{\beta }_t}{\mathrm{x}}_{\mathrm{t}}+\frac{2\sqrt{{\bar{\alpha }}_{t-1}}}{1-{\bar{\alpha }}_{t-1}}{\mathrm{x}}_0\right){\mathrm{x}}_{\mathrm{t}-1}+\mathrm{C}({\mathrm{x}}_{\mathrm{t}},{\mathrm{x}}_0)\right)\right)\end{array}$$
where $\mathrm{C}({\mathrm{x}}_{\mathrm{t}},{\mathrm{x}}_0)$ is some function not involving ${\mathrm{x}}_{\mathrm{t}-1}$ and details are omitted. Following the standard Gaussian density funcion, the mean and variance can be parameterized as follows(由式④得):

由$a{x}^2+bx=a(x+\frac{b}{2a}{)}^2+C$易得,$\mu =-\frac{b}{2a},{\sigma }^2=\frac{1}{a}$
下面的$\stackrel{\sim }{{\beta }_t}$即为${\sigma }^2$

$$\stackrel{\sim }{{\beta }_t}=1/(\frac{{\alpha }_t}{{\beta }_t}+\frac{1}{1-{\bar{\alpha }}_{t-1}})=\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}.{\beta }_t$$
$$\stackrel{\sim }{{\mu }_{\mathrm{t}}}({\mathrm{x}}_{\mathrm{t}},{\mathrm{x}}_0)=(\frac{\sqrt{{\alpha }_{\mathrm{t}}}}{{\beta }_{\mathrm{t}}}{\mathrm{x}}_{\mathrm{t}}+\frac{\sqrt{{\bar{\alpha }}_{\mathrm{t}-1}}}{1-{\bar{\alpha }}_{\mathrm{t}-1}}{\mathrm{x}}_0)/(\frac{{\alpha }_{\mathrm{t}}}{{\beta }_{\mathrm{t}}}+\frac{1}{1-{\bar{\alpha }}_{\mathrm{t}-1}})=\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})}{1-{\bar{\alpha }}_t}{x}_t+\frac{{\beta }_t\sqrt{{\bar{\alpha }}_{t-1}}}{1-{\bar{\alpha }}_t}{x}_0$$

由上式可知，求得的 $\stackrel{\sim }{{\beta }_t}$ 为一个常数

根据前面式③的$x_0$和$x_t$之间的关系式，$x_t=\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}{z}_t$，我们可以知道：$x_0=\frac{1}{\sqrt{{\bar{\alpha }}_t}}(x_t-\sqrt{1-{\bar{\alpha }}_t}{z}_t)$
将$x_0$的表达式带入到$q(x_{t-1}|x_t,x_0)$的分布中($则可以消去x_0,即\stackrel{\sim }{{\mu }_t}(x_t,x_0)可以转化为\stackrel{\sim }{{\mu }_t}(x_t,z_t)$)，可以重新给出此分布的均值表达式，这个时候表达式中不再含有$x_0$,并且多了噪声项$z_t$，这为后面我们设计神经网络提供了基础。也就是说，在给定 $x_0$的条件下，后验条件高斯分布的均值计算只与$x_t$和$z_t$有关。$z_t$是$t$时刻的随机正态分布变量，源自重参数化。
$$\begin{array}{rl}\stackrel{\sim }{{\mu }_t}({\mathrm{x}}_{\mathrm{t}},{\mathrm{z}}_{\mathrm{t}})& =\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})}{1-{\bar{\alpha }}_t}{\mathrm{x}}_{\mathrm{t}}+\frac{\sqrt{{\bar{\alpha }}_{t-1}}{\beta }_t}{1-{\bar{\alpha }}_t}.\frac{1}{\sqrt{{\bar{\alpha }}_t}}({\mathrm{x}}_{\mathrm{t}}-{\mathrm{z}}_{\mathrm{t}}\sqrt{1-{\bar{\alpha }}_t})\\ & =\frac{1}{\sqrt{{\alpha }_t}}({\mathrm{x}}_{\mathrm{t}}-\frac{{\beta }_{\mathrm{t}}}{\sqrt{1-{\bar{\alpha }}_{\mathrm{t}}}}{\mathrm{z}}_{\mathrm{t}})\end{array}$$

上面式子化简要用到的:
${\alpha }_t=1-{\beta }_t{\bar{\alpha }}_t=\prod _{i=1}^t{\alpha }_i$
$$\frac{\sqrt{{\bar{\alpha }}_{t-1}}}{\sqrt{{\bar{\alpha }}_t}}=\frac{1}{\sqrt{{\alpha }_t}}$$

所以现在我们得到了：
$q({\mathrm{x}}_{\mathrm{t}-1}|{\mathrm{x}}_{\mathrm{t}},{\mathrm{x}}_0)\sim \mathcal{N}(\stackrel{\sim }{{\mu }_t}({\mathrm{x}}_{\mathrm{t}},{\mathrm{z}}_{\mathrm{t}}),\stackrel{\sim }{{\beta }_t})$,实际上，${\mathrm{x}}_{\mathrm{t}}$出现在条件上，说明${\mathrm{x}}_{\mathrm{t}}$已知，也就是$\stackrel{\sim }{{\mu }_t}$实际上是只关于 ${\mathrm{z}}_{\mathrm{t}}$ 的函数，所以我们现在的问题就是：$用网络来预测{\mathrm{z}}_{\mathrm{t}}$

七，目标数据分布的似然函数

推导出似然函数就可以来进行网络优化了

我们可以在负对数似然函数的基础上加上一个KL散度(KL散度是非负的，KL散度非负证明)，于是就后成立负对数似然的上界了，上界越小，负对数似然自然也就越小，那么对数似然就越大了。
$$\begin{array}{rl}-\log p_{\theta }\left({\mathbf{x}}_0\right)& \le -\log p_{\theta }\left({\mathbf{x}}_0\right)+D_{\mathrm{KL}}\left(q\left({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0\right)\Vert p_{\theta }\left({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0\right)\right)\\ & =-\log p_{\theta }\left({\mathbf{x}}_0\right)+{\mathbb{E}}_{{\mathbf{x}}_{1:T}\sim q\left({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0\right)}\left[\log \frac{q\left({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0\right)}{p_{\theta }\left({\mathbf{x}}_{0:T}\right)/p_{\theta }\left({\mathbf{x}}_0\right)}\right]\\ & =-\log p_{\theta }\left({\mathbf{x}}_0\right)+{\mathbb{E}}_q\left[\log \frac{q\left({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0\right)}{p_{\theta }\left({\mathbf{x}}_{0:T}\right)}+\log p_{\theta }\left({\mathbf{x}}_0\right)\right]\\ & ={\mathbb{E}}_q\left[\log \frac{q\left({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0\right)}{p_{\theta }\left({\mathbf{x}}_{0:T}\right)}\right]\\ \text{ Let }{L}_{\mathrm{VLB}}& =\underset{交叉熵的上界}{\underbrace{{\mathbb{E}}_{q\left({\mathbf{x}}_{0:T}\right)}\left[\log \frac{q\left({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0\right)}{p_{\theta }\left({\mathbf{x}}_{0:T}\right)}\right]}}\ge \underset{交叉熵}{\underbrace{-{\mathbb{E}}_{q\left({\mathbf{x}}_0\right)}\log p_{\theta }\left({\mathbf{x}}_0\right)}}\end{array}$$

• 上式中的第三行说明：
  ${\mathbb{E}}_{{\mathbf{x}}_{1:T}\sim q\left({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0\right)}\log p_{\theta }({\mathbf{x}}_0)=\log p_{\theta }({\mathbf{x}}_0)$ 因为$\mathbb{E}$的下面是关于${\mathbf{x}}_{1:\mathbf{T}}$的分布，与${\mathbf{x}}_0$无关。
• 上式中最后一行说明：
  在$-\log p_{\theta }\left({\mathbf{x}}_0\right)$的前面加上 ${\mathbb{E}}_{q({\mathbf{x}}_0)}$, 所以不等式的右边的${\mathbb{E}}_{q\left({\mathbf{x}}_{1:T}\right)}$就变为了${\mathbb{E}}_{q\left({\mathbf{x}}_{0:T}\right)}$

进一步可以写出如上公式的交叉熵的上界，接下来，我们可以对交叉熵的上界进行化简：（注意，我们的$目的是为了最小化-\log p_{\theta }\left({\mathbf{x}}_0\right)$，即最小化交叉熵的上界）

注意：
$$q(x_t|x_{t-1})\stackrel{MarkovProperty}{=}q(x_t|x_{t-1},x_0)=\frac{q(x_t,x_{t-1},x_0)}{q(x_{t-1},x_0)}=\frac{q(x_{t-1}|x_t,x_0)q(x_t|x_0)q(x_0)}{q(x_{t-1},x_0)}$$

$$\begin{array}{rl}{L}_{VLB}& ={\mathbb{E}}_{q({\mathbf{x}}_{0:T})}\left[\log \frac{q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_{0:T})}\right]\\ & \\ & ={\mathbb{E}}_q\left[\log \frac{{\prod }_{t=1}^{T}q({\mathbf{x}}_t|{\mathbf{x}}_{t-1})}{p_{\theta }({\mathbf{x}}_T){\prod }_{t=1}^T{p}_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)}\right]\\ & \\ & ={\mathbb{E}}_q\left[-\log p_{\theta }({\mathbf{x}}_T)+\log \frac{{\prod }_{t=1}^{T}q({\mathbf{x}}_t|{\mathbf{x}}_{t-1})}{{\prod }_{t=1}^T{p}_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)}\right]={\mathbb{E}}_q\left[-\log p_{\theta }({\mathbf{x}}_T)+\sum _{t=1}^T\log \frac{q({\mathbf{x}}_t|{\mathbf{x}}_{t-1})}{p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)}\right]\\ & \\ & ={\mathbb{E}}_q\left[-\log p_{\theta }({\mathbf{x}}_T)+\sum _{t=2}^T\log \frac{q({\mathbf{x}}_t|{\mathbf{x}}_{t-1})}{p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)}+\log \frac{q({\mathbf{x}}_1|{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_0|{\mathbf{x}}_1)}\right]\\ & \\ & ={\mathbb{E}}_q\left[-\log p_{\theta }({\mathbf{x}}_T)+\sum _{t=2}^T\log \left(\frac{q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)}.\frac{q({\mathbf{x}}_t|{\mathbf{x}}_0)}{q({\mathbf{x}}_{t-1}|{\mathbf{x}}_0)}\right)+\log \frac{q({\mathbf{x}}_1|{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_0|{\mathbf{x}}_1)}\right]\\ & \\ & ={\mathbb{E}}_q\left[-\log p_{\theta }({\mathbf{x}}_T)+\sum _{t=2}^T\log \frac{q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)}+\sum _{t=2}^T\log \frac{q({\mathbf{x}}_t|{\mathbf{x}}_0)}{q({\mathbf{x}}_{t-1}|{\mathbf{x}}_0)}+\log \frac{q({\mathbf{x}}_1|{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_0|{\mathbf{x}}_1)}\right]\\ & \\ & ={\mathbb{E}}_q\left[-\log p_{\theta }({\mathbf{x}}_T)+\sum _{t=2}^T\log \frac{q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)}+\log \frac{q({\mathbf{x}}_T|{\mathbf{x}}_0)}{q({\mathbf{x}}_1|{\mathbf{x}}_0)}+\log \frac{q({\mathbf{x}}_1|{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_0|{\mathbf{x}}_1)}\right]\\ & \\ & ={\mathbb{E}}_q\left[\log \frac{q({\mathbf{x}}_T|{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_T)}+\sum _{t=2}^T\log \frac{q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)}-\log p_{\theta }({\mathbf{x}}_0|{\mathbf{x}}_1)\right]\\ & \\ & =\underset{D_{KL}(q({\mathbf{x}}_T|{\mathbf{x}}_0)||p_{\theta }({\mathbf{x}}_T))}{\underbrace{{\mathbb{E}}_q\left[\log \frac{q({\mathbf{x}}_T|{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_T)}\right]}}+\underset{\sum _{t=2}^T{D}_{KL}(q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)||p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t))}{\underbrace{{\mathbb{E}}_q\left[\sum _{t=2}^T\log \frac{q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)}\right]}}-\underset{L_0}{\underbrace{{\mathbb{E}}_q\left[\log p_{\theta }({\mathbf{x}}_0|{\mathbf{x}}_1)\right]}}\\ & \\ & =\underset{L_T}{\underbrace{D_{KL}(q({\mathbf{x}}_T|{\mathbf{x}}_0)||p_{\theta }({\mathbf{x}}_T))}}+\sum _{t=2}^T\underset{L_{t-1}}{\underbrace{D_{KL}(q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)||p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t))}}-\underset{L_0}{\underbrace{{\mathbb{E}}_q\left[\log p_{\theta }({\mathbf{x}}_0|{\mathbf{x}}_1)\right]}}\\ & \\ & =\underset{L_T}{\underbrace{D_{KL}(q({\mathbf{x}}_T|{\mathbf{x}}_0)||p_{\theta }({\mathbf{x}}_T))}}+\sum _{t=1}^T\underset{L_{t-1}}{\underbrace{D_{KL}(q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)||p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t))}}⑥\end{array}$$

上面第五行说明：
$$q(x_t|x_{t-1})\stackrel{MarkovProperty}{=}q(x_t|x_{t-1},x_0)=\frac{q(x_t,x_{t-1}|x_0)}{q(x_{t-1}|x_0)}=\frac{q(x_{t-1}|x_t,x_0).q(x_t|x_0)}{q(x_{t-1}|x_0)}$$
分析：

1. $L_T$项 完全不含参：因为$q$分布是完全无参的，而$p_{\theta }({\mathbf{x}}_T)$最后是标准的正态分布(各向同性的高斯分布)，也不含参数
2. 在倒数第2行的化简中，$L_0$可以放入$L_{t-1}$中，因为在$L_{t-1}$中，$t=1$时，有$D_{KL}(q(x_0|x_1,x_0)||p_{\theta }(x_0|x_1))\stackrel{KLDivergenceDefinition}{=}-\log p_{\theta }(x_0|x_1)=-L_0$
   $q(x_0|x_1,x_0)=1$，因为在条件中已经知道了$x_0$

$q({\mathrm{x}}_{\mathrm{t}-1}|{\mathrm{x}}_{\mathrm{t}},{\mathrm{x}}_0)\sim \mathcal{N}(\stackrel{\sim }{{\mu }_t}({\mathrm{x}}_{\mathrm{t}},{\mathrm{z}}_{\mathrm{t}}),\stackrel{\sim }{{\beta }_t})$实际上${\mathrm{x}}_{\mathrm{t}},\stackrel{\sim }{{\beta }_t}$已知，即只有 $\stackrel{\sim }{{\mu }_t}(z_t)$未知

$p_{\theta }({\mathrm{x}}_{\mathrm{t}-1}|{\mathrm{x}}_{\mathrm{t}})\sim \mathcal{N}({\mathrm{x}}_{\mathrm{t}-1};{\mu }_{\theta }({\mathrm{x}}_{\mathrm{t}},\mathrm{t}),{\Sigma }_{\theta }(x_t,t)))$也为高斯分布；在论文中将其方差 ${\Sigma }_{\theta }(x_t,t)$ 设置程一个与 $\beta$ 相关的常数，因此$可训练的参数只存在于其均值{\mu }_{\theta }(x_t,t)中$

由于上面的$q,p_{\theta }$均为高斯分布，所以它们的KL Divergence一定可以求出来。

上式中，$L_0$在DDPM原论文中由于选择了固定方差，故$L_T$为常数，而$L_0相当于从连续空间到离散空间的解码loss????这里咋理解？$, 这里可以仿照VAE或自回归模型中的做法，将连续的高斯分布转换成离散的分布，具体公式见DDPM论文Section3.3或者见Improved Diffusion源码讲解那期视频。

对于两个单一变量的高斯分布 $p$ 和 $q$ 而言，它们的KL散度为：

$$KL(p,q)=log\frac{{\sigma }_2}{{\sigma }_1}+\frac{{\sigma }^2+({\mu }_1-{\mu }_2{)}^2}{2{\sigma }_2^2}-\frac{1}{2}⑤$$
推导可以看这篇____高斯分布的KL散度公式

因为参数只在 $\stackrel{\sim }{{\mu }_t}$ 和 ${\mu }_{\theta }$中，所以我们只着重关注式⑤中间的那一项，其他的用常数C表示

$$L_{t-1}={\mathbb{E}}_q\left[\frac{1}{2{\sigma }_t^2}||\stackrel{\sim }{{\mu }_t}({\mathbf{x}}_t,{\mathbf{x}}_0)-{\mu }_{\theta }({\mathbf{x}}_t,t)|{|}^2\right]+C$$

所以我们现在的训练目标就是：最小化$L_{t-1}$, 即$让\stackrel{\sim }{{\mu }_t}和{\mu }_{\theta }尽可能地接近$。

既然这里的loss是从KL divergence出发的，或者说是与分布有关的，那我们可以设计一个黑箱子神经网络，把它称之为$D_{\theta }$网络。对于$D_{\theta }$网络，输入是$x_t$和时间编码$t$， ($x_0$是数据集，是已知的)，对于输出是什么，取决于我们的建模目标。

$我的疑惑：$
对于扩散过程，为什么要弄出来个$q({\mathrm{x}}_{\mathrm{t}-1}|{\mathrm{x}}_{\mathrm{t}},{\mathrm{x}}_0)$,为啥不直接用$q({\mathrm{x}}_{\mathrm{t}}|{\mathrm{x}}_0)$或者$q({\mathrm{x}}_{\mathrm{t}}|{\mathrm{x}}_{\mathrm{t}-1})$？难度是因为公式推导的过程中(式⑥)要用到$q({\mathrm{x}}_{\mathrm{t}-1}|{\mathrm{x}}_{\mathrm{t}},{\mathrm{x}}_0)$？？？

而我们可以有多种建模目标：
【1】直观的做法是让$D_{\theta }$ 网络的输出等于前向过程中的后验分布均值$\stackrel{\sim }{\mu }(x_t,x_0)$，这种建模方法俗称预测后验分布的期望值；

【2】根据$\stackrel{\sim }{\mu }(x_t,x_0)$的表达式，它里面的$x_0$对于$D_{\theta }$网络是未知的，因此第二种做法是让$D_{\theta }$网络的输出等于$x_0$，这种做法即直接预测原始数据。
有人问：既然可以通过$D_{\theta }$网络直接预测$x_0$了，那是不是采样过程就直接计算$D_{\theta }(x_T,T)$的输出即可认为是生成了样本了呢？
答案是：直接一步到位，质量会比较差，还是需要通过马尔科夫高斯条件迭代而获得最终高质量的生成样本；

【3】当我们把$\stackrel{\sim }{\mu }(x_t,x_0)$中的$x_0$用$x_t$去表示的时候，$\stackrel{\sim }{\mu }(x_t,x_0)$就变成了如下只包含$x_t$和随机变量$ϵ$
的式子。其中$x_t$对于D网络是已知的，而$ϵ$是未知的，因此这个时候，我们可以选择建模目标是让$D_{\theta }$网络的输出等于$ϵ$了，这种建模方法俗称随机变量(噪音)法。
$$\begin{array}{rl}{L}_{t-1}-C& ={\mathbb{E}}_{{\mathbf{x}}_0,ϵ}\left[\frac{1}{2{\sigma }_t^2}\Vert \stackrel{\sim }{\mu }\left({\mathbf{x}}_t({\mathbf{x}}_0,ϵ),\frac{1}{\sqrt{{\bar{\alpha }}_t}}({\mathbf{x}}_t({\mathbf{x}}_0,ϵ)-\sqrt{1-{\bar{\alpha }}_t}.ϵ)\right)-{\mu }_{\theta }({\mathbf{x}}_t({\mathbf{x}}_0,ϵ),t){\Vert }^2\right]\\ & \\ & ={\mathbb{E}}_{{\mathbf{x}}_0,ϵ}\left[\frac{1}{2{\sigma }_t^2}\Vert \frac{1}{\sqrt{{\alpha }_t}}\left({\mathbf{x}}_t({\mathbf{x}}_0,ϵ)-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}.ϵ\right)-{\mu }_{\theta }({\mathbf{x}}_t({\mathbf{x}}_0,ϵ),t){\Vert }^2\right]\end{array}$$

在DDPM论文中，作者选择了方案【3】，即让$D_{\theta }$网络的输出等于$ϵ$, 预测噪音法。于是，新的逆向条件分布的均值可以表示成（下式中的${ϵ}_{\theta }$相当于我们定义的广义的$D_{\theta }$网络的具体目标形式）：
$${\mu }_{\theta }({\mathbf{x}}_t,t)=\stackrel{\sim }{{\mu }_t}\left({\mathbf{x}}_t,\frac{1}{\sqrt{{\bar{\alpha }}_t}}({\mathbf{x}}_t-\sqrt{1-{\bar{\alpha }}_t}.{ϵ}_{\theta }({\mathbf{x}}_t))\right)=\frac{1}{\sqrt{{\alpha }_t}}\left({\mathbf{x}}_t-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}.{ϵ}_{\theta }({\mathbf{x}}_t,t)\right)$$

于是$L_{t-1}$可以化简成如下表达式：
$${\mathbb{E}}_{{\mathbf{x}}_0,ϵ}\left[\frac{{\beta }_t^2}{2{\sigma }_t^2{\alpha }_t(1-{\bar{\alpha }}_t)}{\Vert ϵ-{ϵ}_{\theta }(\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ,t)\Vert }^2\right]$$

DDPM作者又发现，干脆将系数丢掉，训练更加稳定，质量更好，于是有了下面的$L_{simple}$:
$$L_{simple}(\theta )={\mathbb{E}}_{{\mathbf{x}}_0,ϵ}\left[{\Vert ϵ-{ϵ}_{\theta }(\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ,t)\Vert }^2\right]$$

八，Diffusion Probabilistic Model的算法代码