论文地址：https://arxiv.org/pdf/2006.11239.pdf

1 正向加噪推导

**核心公式1 **
$$x_t=\sqrt{{\bar{\alpha }}_t}\ast x_0+\sqrt{1-{\bar{\alpha }}_t}{z}_t$$
证明如下：
$${\alpha }_t=1-{\beta }_t\beta 越来越大，则\alpha 越来越小$$
$$x_t和x_{t-1}的关系：x_t=\sqrt{{\alpha }_t}\ast x_{t-1}+\sqrt{1-{\alpha }_t}{z}_1$$
$$x_{t-1}和x_{t-2}的关系：x_{t-1}=\sqrt{{\alpha }_{t-1}}\ast x_{t-2}+\sqrt{1-{\alpha }_t}{z}_2$$
$$上式进行合并：x_t=\sqrt{{\alpha }_t}\ast (\sqrt{{\alpha }_{t-1}}\ast x_{t-2}+\sqrt{1-{\alpha }_t}{z}_2)+\sqrt{1-{\alpha }_t}{z}_1$$
由于每次加入的噪声都是服从高斯分布的

$$x_t=\sqrt{{\alpha }_t}\ast \sqrt{{\alpha }_{t-1}}\ast x_{t-2}+\sqrt{{\alpha }_t}\sqrt{1-{\alpha }_{t-1}}{z}_2+\sqrt{1-{\alpha }_t}{z}_1$$

$$\begin{gathered} z_1服从N(0,1-{\alpha }_t) \\ {z}_2服从N(0,{\alpha }_t(1-{\alpha }_{t-1})) \end{gathered}$$
根据高斯分布公式合并x_t的噪声项，
$$N(0,{\sigma }_1^{2}I)+N(0,{\sigma }_2^{2}I)-N(0,({\sigma }_1^2+{\sigma }_2^2)I)$$

基于上式高斯混合分布公式可简化x_t
$$x_t=\sqrt{{\alpha }_t{\alpha }_{t-1}}\ast x_{t-2}+\sqrt{1-{\alpha }_t\ast {\alpha }_{t-1}}z$$
由上可递推
$$\begin{gathered} x_t=\sqrt{{\alpha }_t{\alpha }_{t-1}...{\alpha }_0}\ast x_0+\sqrt{1-{\alpha }_t\ast {\alpha }_{t-1}...{\alpha }_0}{z}_t \\ 令{\alpha }_t\ast {\alpha }_{t-1}...{\alpha }_0={\bar{\alpha }}_t \\ {x}_t=\sqrt{{\bar{\alpha }}_t}\ast x_0+\sqrt{1-{\bar{\alpha }}_t}{z}_t \end{gathered}$$
有了上述公式，在已知x_0时，任意时刻的x_t都可以计算得出。

2 反向去噪推导

去噪需要求解的是在给定x_0,x_t时，求解x_{t-1}时刻概率
$$q(x_{t-1}|x_t,x_0)$$
根据贝叶斯公式
$$q(x_{t-1}|x_t,x_0)=q(x_t|x_{t-1},x_0)\frac{q(x_{t-1}|x_0)}{q(x_t|x_0)}$$
根据上面第一节中的正向加噪公式

则：
$$q(x_{t-1}|x_t,x_0)=exp(-\frac{1}{2}(\frac{(x_{t-1}-\sqrt{{\bar{\alpha }}_{t-1}}{x}_0{)}^2}{1-{\bar{\alpha }}_{t-1}}+\frac{(x_t-\sqrt{{\alpha }_t}{x}_{t-1}{)}^2}{1-{\alpha }_t}-\frac{(x_t-\sqrt{{\bar{\alpha }}_t}{x}_0{)}^2}{1-{\bar{\alpha }}_t}))$$
将上式进行化简：
$$exp(-\frac{1}{2}(\frac{{\alpha }_t}{1-{\alpha }_t}+\frac{1}{1-{\bar{\alpha }}_{t-1}})x_{t-1}^2-(\frac{2\sqrt{{\alpha }_t}}{1-{\alpha }_t}{x}_t+\frac{2\sqrt{{\bar{\alpha }}_{t-1}}}{1-{\bar{\alpha }}_{t-1}}{x}_0)x_{t-1}+C(x_t,x_0))$$
根据下面高斯展开式，二次方与二次方对齐，一次方与一次方对齐，配平上式，可求均值和方差

$${\bar{\mu }}_t(x_t,x_0)=\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})}{1-{\bar{\alpha }}_t}{x}_t+\frac{\sqrt{{\bar{\alpha }}_{t-1}}(1-{\alpha }_t)}{1-{\bar{\alpha }}_t}{x}_0$$
上式中含有x_0，由于x_0是未知的，根据正向公式
$$x_t=\sqrt{{\bar{\alpha }}_t}\ast x_0+\sqrt{1-{\bar{\alpha }}_t}{z}_t$$

$$x_0=\frac{(x_t-\sqrt{1-{\bar{\alpha }}_t}{z}_t)}{\sqrt{{\bar{\alpha }}_t}}$$

可得最终 均值
核心公式2
$${\bar{\mu }}_t=\frac{1}{{\sqrt{\alpha }}_t}(x_t-\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}}{z}_t)$$

上式中z_t是通过网络学习出来的

3 diffusion模型算法

1）训练
核心公式1
$$x_t=\sqrt{{\bar{\alpha }}_t}\ast x_0+\sqrt{1-{\bar{\alpha }}_t}{z}_t$$

2）采样
核心公式2
$${\bar{\mu }}_t=\frac{1}{{\sqrt{\alpha }}_t}(x_t-\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}}{z}_t)$$

3)整体算法架构