首先附上几个大佬的讲解

lilianweng-diffusion-models

这篇博客借鉴了上述博客和视频，同时加上个人的理解整合了一下，整个推导过程非常详细，希望能使每个人都看懂

结合之前讲过的VAE和GAN模型，Diffusion Model和他们的区别就是latent code和原图是同尺寸大小的。如下图所示，Diffusion Model分为前向过程和反向过程，前向过程将输入图片$x_0$变为纯高斯噪声$x_T$（就是一个不断加噪的过程），反向过程就是将噪声$x_T$还原为图片$x_0$的过程（就是一个不断去噪的过程）

知道Diffusion Model在做什么之后，我们分别对Diffusion的每个过程做详细的分析

Diffusion的前向过程

给定真实图片$x_0\sim q(x)$，前向过程中diffusion model对其添加了$T$次高斯噪声，分别得到图$x_1,x_2,x_3,...,x_T$，这个过程用下面式子表示
$$q(x_t|x_{t-1})=\mathcal{N}(x_t;\sqrt{1-{\beta }_t}{x}_{t-1},{\beta }_{t}I)$$

整个前向加噪过程是马尔科夫过程，即$t$时刻的状态只与$t-1$时刻有关，并且在不断加噪的过程中，$x_t$不断接近纯噪声，$T\to \infty$，$x_t$变为完全的高斯噪声，在论文中${\beta }_t$是从0.0001到0.02线性插值的，$T=1000$，也就是说${\beta }_t$是不断增加的，$1-{\beta }_t$是不断减小的。因此我们再看上述分布$\mathcal{N}(x_t;\sqrt{1-{\beta }_t}{x}_{t-1},{\beta }_{t}I)$，随着$t$增加，$x_t$的均值是$x_{t-1}$的$\sqrt{1-{\beta }_t}<1$倍，因此最终$x_t$的均值不断变小，趋近于$0$

为了推导方便，根据原论文我们令${\alpha }_t=1-{\beta }_t$，令${\overline{\alpha }}_t={\prod }_{i=1}^T{\alpha }_i$，并用重参数化的方法来表示前向过程每一步的数据分布（不知道重参数化方法的直接先看最后），这里我们由$q(x_t|x_{t-1})=\mathcal{N}(x_t;\sqrt{1-{\beta }_t}{x}_{t-1},{\beta }_{t}I)$得
$$\begin{array}{rl}{x}_t& =\sqrt{1-{\beta }_t}{x}_{t-1}+\sqrt{{\beta }_t}{z}_1,where{z}_1,z_2,...,\sim \mathcal{N}(0,I)\\ & =\sqrt{{\alpha }_t}{x}_{t-1}+\sqrt{1-{\alpha }_t}{z}_1\\ & =\sqrt{{\alpha }_t}(\sqrt{{\alpha }_{t-1}}{x}_{t-2}+\sqrt{1-{\alpha }_{t-1}}{z}_2)+\sqrt{1-{\alpha }_t}{z}_1\\ & =\sqrt{{\alpha }_t{\alpha }_{t-1}}{x}_{t-2}+\sqrt{{\alpha }_t}\sqrt{1-{\alpha }_{t-1}}{z}_2+\sqrt{1-{\alpha }_t}{z}_1\\ & =\sqrt{{\alpha }_t{\alpha }_{t-1}}{x}_{t-2}+\sqrt{1-{\alpha }_t{\alpha }_{t-1}}{\overline{z}}_2,{\overline{z}}_2\sim \mathcal{N}(0,I)\\ & =\sqrt{{\overline{\alpha }}_t}{x}_0+\sqrt{1-{\overline{\alpha }}_t}{\overline{z}}_t\end{array}$$

其中$\sqrt{{\alpha }_t}\sqrt{1-{\alpha }_{t-1}}{z}_2+\sqrt{1-{\alpha }_t}{z}_1$到$\sqrt{1-{\alpha }_t{\alpha }_{t-1}}{\overline{z}}_2$用到了高斯分布的独立可加性，即$\mathcal{N}(0,{\sigma }_1^{2}I)+\mathcal{N}(0,{\sigma }_2^{2}I)\sim \mathcal{N}(0,({\sigma }_1^2+{\sigma }_2^2)I)$
$$\begin{array}{rl}& \sqrt{{\alpha }_t}\sqrt{1-{\alpha }_{t-1}}{z}_2\sim \mathcal{N}(0,{\alpha }_t(1-{\alpha }_{t-1})I)\\ & \sqrt{1-{\alpha }_t}{z}_1\sim \mathcal{N}(0,(1-{\alpha }_{t-1})I)\\ & \sqrt{{\alpha }_t(1-{\alpha }_{t-1})}{z}_2+\sqrt{1-{\alpha }_t}{z}_1\sim \mathcal{N}(0,[{\alpha }_t(1-{\alpha }_{t-1})+(1-{\alpha }_{t-1})]I)\\ & \sim \mathcal{N}(0,(1-{\alpha }_t{\alpha }_{t-1})I)\to \sqrt{1-{\alpha }_t{\alpha }_{t-1}}{\overline{z}}_2\end{array}$$

有一个疑问，为什么$x_t$的分布是$q(x_t|x_{t-1})=\mathcal{N}(x_t;\sqrt{1-{\beta }_t}{x}_{t-1},{\beta }_{t}I)$呢？因为这个公式是作者直接给出的，并没有一个推导，公式表明在加噪的过程中均值要乘上$\sqrt{1-{\beta }_t}$，如果要保证均值最后为0的话，只需要每次乘的值小于1就可以了（虽然方差可能并不是$I$），通过上述推导我们可以发现$x_t$的最终等于$\sqrt{{\overline{\alpha }}_t}{x}_0+\sqrt{1-{\overline{\alpha }}_t}{\overline{z}}_t$，即$T\to \infty ,x_t\sim \mathcal{N}(0,I)$，也就是说$\mathcal{N}(x_t;\sqrt{1-{\beta }_t}{x}_{t-1},{\beta }_{t}I)$这个分布能够保证$x_t$最终收敛为标准高斯分布，但是具体这个式子怎么得到的，我依然不了解

Diffusion的反向过程

在前向加噪过程中，我们的加噪表达式为$q(x_t|x_{t-1})=\mathcal{N}(x_t;\sqrt{1-{\beta }_t}{x}_{t-1},{\beta }_{t}I)$，反向过程就是将上述过程进行逆转，得到$q(x_{t-1}|x_t)$的分布，通过不断的去噪从$x_t\sim \mathcal{N}(0,I)$中还原出原图$x_0$，文中中证明了如果$q(x_t|x_{t-1})$满足高斯分布并且${\beta }_t$足够小，$q(x_{t-1}|x_t)$仍然是一个高斯分布。但是我们无法简单推断$q(x_{t-1}|x_t)$，因此我们使用深度学习模型（参数为$\theta$，结构一般为U-net+attention结构）来预测他的分布
$$p_{\theta }(x_{t-1}|x_t)=\mathcal{N}(x_{t-1};{\mu }_{\theta }(x_t,t),{\Sigma }_{\theta }(x_t,t))$$

虽然我们无法得到反向过程的分布$q(x_{t-1}|x_t)$，但是如果知道$x_0$，是可以通过贝叶斯公式得到$q(x_{t-1}|x_t,x_0)$为
$$q(x_{t-1}|x_t,x_0)=(x_{t-1};\tilde{\mu }(x_t,x_0),{\tilde{\beta }}_{t}I)$$

推导过程如下，首先利用贝叶斯公式将反向过程均变为前向过程$x_{t-1}\to x_t$，$x_0\to x_{t-1}$以及$x_0\to x_t$
$$q(x_{t-1}|x_t,x_0)=q(x_t|x_{t-1},x_0)\frac{q(x_{t-1}|x_0)}{q(x_t|x_0)}$$

根据高斯分布的概率密度函数的指数部分$\mathcal{N}\sim (\mu ,{\sigma }^2)\propto \exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})$以及前向推导公式$x_t=\sqrt{{\alpha }_t}{x}_{t-1}+\sqrt{1-{\alpha }_t}{z}_1=\sqrt{{\overline{\alpha }}_t}{x}_0+\sqrt{1-{\overline{\alpha }}_t}{\overline{z}}_t$得
$$\begin{array}{rl}q(x_{t-1}|x_t,x_0)& =q(x_t|x_{t-1},x_0)q(x_{t-1}|x_0)\frac{1}{q(x_t|x_0)}\\ & =[\sqrt{{\alpha }_t}{x}_{t-1}+\sqrt{1-{\alpha }_t}{z}_1]\times [\sqrt{{\overline{\alpha }}_{t-1}}{x}_0+\sqrt{1-{\overline{\alpha }}_{t-1}}{\overline{z}}_{t-1}]\times [\frac{1}{\sqrt{{\overline{\alpha }}_t}{x}_0+\sqrt{1-{\overline{\alpha }}_t}{\overline{z}}_t}]\\ & \propto \exp (-\frac{1}{2}(\frac{(x_t-\sqrt{{\alpha }_t}{x}_{t-1}{)}^2}{{\beta }_t}+\frac{(x_{t-1}-\sqrt{{\overline{\alpha }}_{t-1}}{x}_0{)}^2}{1-{\overline{\alpha }}_{t-1}}-\frac{(x_t-\sqrt{{\overline{\alpha }}_t}{x}_0{)}^2}{1-{\overline{\alpha }}_t}))\\ & =\exp (-\frac{1}{2}((\underbrace{\frac{{\alpha }_t}{{\beta }_t}+\frac{1}{1-{\overline{\alpha }}_{t-1}})x_{t-1}^2}-\underbrace{(\frac{2\sqrt{{\alpha }_t}}{{\beta }_t}{x}_t+\frac{2\sqrt{{\overline{\alpha }}_{t-1}}}{1-{\overline{\alpha }}_{t-1}}{x}_0)x_{t-1}}+\underbrace{C(x_t,x_0})))\end{array}$$

根据$\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})=\exp (-\frac{1}{2}(\frac{1}{{\sigma }^2}{x}^2-\frac{2\mu }{{\sigma }^2}x+\frac{{\mu }^2}{{\sigma }^2}))$，上式的最后括号部分，我们分别进行化简能够得到$q(x_{t-1}|x_t,x_0)=(x_{t-1};\tilde{\mu }(x_t,x_0),{\tilde{\beta }}_{t}I)$的均值和方差，如下
$$\{\begin{array}{l}\frac{1}{{\sigma }^2}=\frac{1}{{\tilde{\beta }}_t}=(\frac{{\alpha }_t}{{\beta }_t}+\frac{1}{1-{\overline{\alpha }}_{t-1}})\\ \\ \frac{2\mu }{{\sigma }^2}=\frac{2{\tilde{\mu }}_t(x_t,x_0)}{{\tilde{\beta }}_t}=(\frac{2\sqrt{{\alpha }_t}}{{\beta }_t}{x}_t+\frac{2\sqrt{{\overline{\alpha }}_{t-1}}}{1-{\overline{\alpha }}_{t-1}}{x}_0)\end{array}$$

化简得
$$\{\begin{array}{l}{\tilde{\beta }}_t=\frac{1-{\overline{\alpha }}_{t-1}}{1-{\overline{\alpha }}_t}\cdot {\beta }_t\\ \\ {\tilde{\mu }}_t(x_t,x_0)=\frac{\sqrt{{\alpha }_t}(1-{\overline{\alpha }}_{t-1})}{1-{\overline{\alpha }}_t}{x}_t+\frac{\sqrt{{\overline{\alpha }}_{t-1}}{\beta }_t}{1-{\overline{\alpha }}_t}{x}_0\end{array}$$
在前向过程中我们推导出$x_t=\sqrt{{\overline{\alpha }}_t}{x}_0+\sqrt{1-{\overline{\alpha }}_t}{\overline{z}}_t$，由此得到$x_0=\frac{1}{\sqrt{{\overline{\alpha }}_t}}(x_t-\sqrt{1-{\overline{\alpha }}_t}\overline{z_t})$并替换上面均值得到
$${\tilde{\mu }}_t=\frac{1}{\sqrt{{\alpha }_t}}(x_t-\frac{{\beta }_t}{\sqrt{1-{\overline{\alpha }}_t}}{\overline{z}}_t)$$

其中高斯分布${\overline{z}}_t$是深度学习模型所预测的噪声，可以看做$z_{\theta }(x_t,t)$，由此得到均值为
$${\mu }_{\theta }(x_t,t)=\frac{1}{\sqrt{{\alpha }_t}}(x_t-\frac{{\beta }_t}{\sqrt{1-{\overline{\alpha }}_t}}{z}_{\theta }(x_t,t))$$

这样我们证明最初已知$x_0$后的反向表达式了

补充

1. 重参数化技巧

重参数化技巧在VAE中被应用过，此技巧主要用来使采样可以进行反向传播，假设我们随机采样时从任意一个高斯分布$\mathcal{N}(\mu ,{\sigma }^2)$中采样，然后预测结果，最终结果是无法反向传播的（不可导），通常做法是使用标准高斯分布$\mathcal{N}(0,I)$作为引导

具体做法是首先从标准高斯分布中采样一个变量，然后根据高斯分布的均值$\mu$和方差${\sigma }^2$来对采样变量进行线性变换，如下
$$z=\mu +\sigma \odot ϵ,ϵ\sim \mathcal{N}(0,I)$$

重参数化之后得到的变量$z$具有随机性的，满足均值为$\mu$，方差为${\sigma }^2$的高斯分布，这样采样过程就可导了，随机性加到了$ϵ\sim \mathcal{N}(0,I)$上，而不是$\mathcal{N}(\mu ,{\sigma }^2)$

再通俗解释一下，就是如果我们直接对原来高斯分布采样的话，采样之后的所有计算是可以反向传播的，但是是传不到<在采样这个步骤之前的过程>的，因为数据具有随机性了，反向传播不能传播随机性的梯度，当我们将随机性转移到$ϵ\sim \mathcal{N}(0,I)$上时，因为标准高斯分布之前就没有数据了，所以不用继续传播了，传播的是对其采样之后的$\mu$和$\sigma$