论文阅读笔记：Denoising Diffusion Implicit Models （3）

news2025/4/27 12:16:00

0、快速访问

论文阅读笔记：Denoising Diffusion Implicit Models （1）
论文阅读笔记：Denoising Diffusion Implicit Models （2）
论文阅读笔记：Denoising Diffusion Implicit Models （3）
论文阅读笔记：Denoising Diffusion Implicit Models （4）

4、DDPM与DDIM的相同点与不同点

4.1、 相同点

DDPM与DDIM的训练过程相同，因此DDPM训练的模型可以直接在DDIM当中使用，训练过程下所示
请添加图片描述

4.2、不同点

DDPM与DDIM在推理阶段是不同的。
DDPM在推理阶段的采样过程如下图所示。首先模型 ϵ θ \epsilon_\theta ϵθ​预测出 x 0 → x t x_0\to x_t x0​→xt​所添加的噪音 ϵ t \epsilon_t ϵt​，然后根据公式 ( x t − 1 − α t 1 − α ˉ t ⋅ ϵ t ) \Big(x_t-\frac{1-\alpha_t}{\sqrt{1-\bar{\alpha}_{t}}}\cdot \epsilon_t\Big) (xt​−1−αˉt​ ​1−αt​​⋅ϵt​)得到 x t − 1 x_{t-1} xt−1​分布的均值，最后在均值上添加对应的噪音，得到 x t − 1 x_{t-1} xt−1​
请添加图片描述
接下来介绍DDIM的采样过程。根据上文论文阅读笔记：Denoising Diffusion Implicit Models （2）中公式(2)所示的前向加噪过程：在给定 x 0 x_0 x0​和 x t x_t xt​的条件下， x t − 1 x_{t-1} xt−1​的分布 q σ ( x t − 1 ∣ x t , x 0 ) = N ( x t − 1 ∣ 1 − α t − 1 − σ t 2 1 − α t ⋅ x t + [ α t − 1 − α t ⋅ ( 1 − α t − 1 − σ t 2 ) 1 − α t ] ⋅ x 0 , σ t 2 I ) q_{\sigma}(x_{t-1}|x_t,x_0)=N\Bigg(x_{t-1}|\sqrt{\frac{1-\alpha_{t-1}-\sigma_t^2}{1-\alpha_{t}}}\cdot x_t+ \bigg[\sqrt{\alpha_{t-1}}- \frac{\sqrt{ \alpha_t\cdot (1-\alpha_{t-1}-\sigma_t^2} )}{\sqrt{1-\alpha_t}} \bigg] \cdot x_0 ,\sigma_t^2 I\Bigg) qσ​(xt−1​∣xt​,x0​)=N(xt−1​∣1−αt​1−αt−1​−σt2​​ ​⋅xt​+[αt−1​ ​−1−αt​ ​αt​⋅(1−αt−1​−σt2​ ​)​]⋅x0​,σt2​I)，也就是 x t − 1 x_{t-1} xt−1​的计算过程如公式（1）所示。
x t − 1 = α t − 1 ⋅ x 0 + 1 − α t − 1 − σ t 2 ⋅ x t − α t x 0 1 − α t + σ t 2 ϵ t ⏟ 标准高斯分布 = α t − 1 ⋅ x t − 1 − α t ⋅ z t α t + 1 − α t − 1 − σ t 2 ⋅ 1 1 − α t ⋅ ( x t − α t ⋅ ( x t − 1 − α t ⋅ z t α t ) ) + σ t 2 ⋅ ϵ t = α t − 1 ⋅ x t − 1 − α t ⋅ z t α t + 1 − α t − 1 − σ t 2 ⋅ 1 1 − α t ⋅ ( x t − x t + 1 − α t ⋅ z t ) + σ t 2 ⋅ ϵ t = α t − 1 ⋅ x t − 1 − α t ⋅ z t α t ⏟ = x 0 + 1 − α t − 1 − σ t 2 ⋅ z t + σ t 2 ⋅ ϵ t \begin{equation} \begin{split} x_{t-1}&= \sqrt{\alpha_{t-1}}\cdot x_0+\sqrt{1-\alpha_{t-1}-\sigma_t^2}\cdot \frac{x_t-\sqrt{\alpha}_t x_0}{\sqrt{1-\alpha_t}} + \sigma_t^2 \underbrace{\epsilon_t}_{标准高斯分布} \\ &=\sqrt{\alpha_{t-1}}\cdot \frac{x_t-{\sqrt{1-\alpha_t}\cdot z_t}}{\sqrt{\alpha_t}} + \sqrt{1-\alpha_{t-1}-\sigma_t^2}\cdot \frac{1}{\sqrt{1-\alpha_t}}\cdot \bigg(x_t- \bcancel{\sqrt {\alpha_t}}\cdot \big(\frac{x_t-{\sqrt{1-\alpha_t}\cdot z_t}}{\bcancel{\sqrt{\alpha_t}}} \big) \bigg) + \sigma_t^2 \cdot\epsilon_t\\ &=\sqrt{\alpha_{t-1}}\cdot \frac{x_t-{\sqrt{1-\alpha_t}\cdot z_t}}{\sqrt{\alpha_t}}+ \sqrt{1-\alpha_{t-1}-\sigma_t^2}\cdot \frac{1}{\sqrt{1-\alpha_t}}\cdot (x_t - x_t + \sqrt{1-\alpha_t}\cdot z_t)+ \sigma_t^2 \cdot\epsilon_t\\ &=\sqrt{\alpha_{t-1}}\cdot \underbrace{ \frac{x_t-{\sqrt{1-\alpha_t}\cdot z_t}}{\sqrt{\alpha_t}}}_{=x_0}+ \sqrt{1-\alpha_{t-1}-\sigma_t^2}\cdot z_t + \sigma_t^2 \cdot\epsilon_t \end{split} \end{equation} xt−1​​=αt−1​ ​⋅x0​+1−αt−1​−σt2​ ​⋅1−αt​ ​xt​−α ​t​x0​​+σt2​标准高斯分布 ϵt​​​=αt−1​ ​⋅αt​ ​xt​−1−αt​ ​⋅zt​​+1−αt−1​−σt2​ ​⋅1−αt​ ​1​⋅(xt​−αt​ ​ ​⋅(αt​ ​ ​xt​−1−αt​ ​⋅zt​​))+σt2​⋅ϵt​=αt−1​ ​⋅αt​ ​xt​−1−αt​ ​⋅zt​​+1−αt−1​−σt2​ ​⋅1−αt​ ​1​⋅(xt​−xt​+1−αt​ ​⋅zt​)+σt2​⋅ϵt​=αt−1​ ​⋅=x0​ αt​ ​xt​−1−αt​ ​⋅zt​​​​+1−αt−1​−σt2​ ​⋅zt​+σt2​⋅ϵt​​​​
得到的公式(1)就是在推断时跳 1 1 1步的采样过程。
由前向加噪过程，可以推知 q σ ( x t − 2 ∣ x t − 1 , x 0 ) = N ( x t − 2 ∣ 1 − α t − 2 − σ t − 1 2 1 − α t − 1 ⋅ x t − 1 + [ α t − 2 − α t − 1 ⋅ ( 1 − α t − 2 − σ t − 1 2 ) 1 − α t − 1 ] ⋅ x 0 , σ t − 1 2 I ) q_{\sigma}(x_{t-2}|x_{t-1},x_0)=N\bigg(x_{t-2}|\sqrt{\frac{1-\alpha_{t-2}-\sigma_{t-1}^2}{1-\alpha_{t-1}}}\cdot x_{t-1}+ \bigg[\sqrt{\alpha_{t-2}}- \frac{\sqrt{ \alpha_{t-1}\cdot (1-\alpha_{t-2}-\sigma_{t-1}^2} )}{\sqrt{1-\alpha_{t-1}}} \bigg] \cdot x_0 ,\sigma_{t-1}^2 I\bigg) qσ​(xt−2​∣xt−1​,x0​)=N(xt−2​∣1−αt−1​1−αt−2​−σt−12​​ ​⋅xt−1​+[αt−2​ ​−1−αt−1​ ​αt−1​⋅(1−αt−2​−σt−12​ ​)​]⋅x0​,σt−12​I)。接下来考虑，跳 2 2 2步时的采样过程，即在给定 x 0 x_0 x0​和 x t x_t xt​时， x t − 2 x_{t-2} xt−2​时的采样过程，即 q σ ( x t − 2 ∣ x 0 , x t ) q_\sigma(x_{t-2}|x_0,x_t) qσ​(xt−2​∣x0​,xt​)的分布。
首先，我们可以确定 q σ ( x t − 2 ∣ x 0 , x t ) q_\sigma(x_{t-2}|x_0,x_t) qσ​(xt−2​∣x0​,xt​)是高斯分布，假设其均值和方差分别为 μ t − 2 \mu_{t-2} μt−2​和 σ t − 2 2 \sigma_{t-2}^2 σt−22​。由于 q σ ( x t − 2 ∣ x 0 , x t ) q_\sigma(x_{t-2}|x_0,x_t) qσ​(xt−2​∣x0​,xt​)是 q σ ( x t − 2 , x t − 1 ∣ x 0 , x t ) q_\sigma(x_{t-2},x_{t-1}|x_0,x_t) qσ​(xt−2​,xt−1​∣x0​,xt​) 的边缘分布。

q σ ( x t − 2 ∣ x 0 , x t ) = ∫ q σ ( x t − 2 , x t − 1 ∣ x 0 , x t ) ⋅ d x t − 1 = ∫ q σ ( x t − 2 ∣ x 0 , x t − 1 ) ⋅ q σ ( x t − 1 ∣ x 0 , x t ) ⋅ d x t − 1 \begin{equation} \begin{split} q_\sigma(x_{t-2}|x_0,x_t)&= \int q_\sigma(x_{t-2},x_{t-1}|x_0,x_t) \cdot dx_{t-1} \\ &=\int q_\sigma(x_{t-2}|x_0,x_{t-1}) \cdot q_\sigma(x_{t-1}|x_0,x_{t}) \cdot dx_{t-1} \end{split} \end{equation} qσ​(xt−2​∣x0​,xt​)​=∫qσ​(xt−2​,xt−1​∣x0​,xt​)⋅dxt−1​=∫qσ​(xt−2​∣x0​,xt−1​)⋅qσ​(xt−1​∣x0​,xt​)⋅dxt−1​​​​

因此
μ t − 2 = E ( q σ ( x t − 2 ∣ x 0 , x t ) ) = ∫ x t − 2 ⋅ q σ ( x t − 2 ∣ x 0 , x t ) ⋅ d x t − 2 = ∫ x t − 2 ⋅ ( ∫ q σ ( x t − 2 , ∣ x 0 , x t − 1 ) ⋅ q σ ( x t − 1 ∣ x 0 , x t ) ⋅ d x t − 1 ) ⋅ d x t − 2 = ∫ ∫ x t − 2 ⋅ q σ ( x t − 2 , ∣ x 0 , x t − 1 ) ⋅ q σ ( x t − 1 ∣ x 0 , x t ) ⋅ d x t − 1 ⋅ d x t − 2 = ∫ ( ∫ x t − 2 ⋅ q σ ( x t − 2 ∣ x 0 , x t − 1 ) ⋅ d x t − 2 ) ⋅ q σ ( x t − 1 ∣ x 0 , x t ) ⋅ d x t − 1 = ∫ ( E ( q σ ( x t − 2 , ∣ x 0 , x t − 1 ) ) ⋅ q σ ( x t − 1 ∣ x 0 , x t ) ⋅ d x t − 1 = ∫ ( 1 − α t − 2 − σ t − 1 2 1 − α t − 1 ⋅ x t − 1 + [ α t − 2 − α t − 1 ⋅ ( 1 − α t − 2 − σ t − 1 2 ) 1 − α t − 1 ] ⋅ x 0 ) ⋅ q σ ( x t − 1 ∣ x 0 , x t ) ⋅ d x t − 1 = ∫ ( 1 − α t − 2 − σ t − 1 2 1 − α t − 1 ⋅ x t − 1 ) ⋅ q σ ( x t − 1 ∣ x 0 , x t ) ⋅ d x t − 1 + ∫ ( α t − 2 − α t − 1 ⋅ ( 1 − α t − 2 − σ t − 1 2 ) 1 − α t − 1 ) ⋅ x 0 ⋅ q σ ( x t − 1 ∣ x 0 , x t ) ⋅ d x t − 1 = 1 − α t − 2 − σ t − 1 2 1 − α t − 1 ⋅ ∫ x t − 1 ⋅ q σ ( x t − 1 ∣ x 0 , x t ) ⋅ d x t − 1 + ( α t − 2 − α t − 1 ⋅ ( 1 − α t − 2 − σ t − 1 2 ) 1 − α t − 1 ) ⋅ x 0 ∫ q σ ( x t − 1 ∣ x 0 , x t ) ⋅ d x t − 1 ⏟ = 1 = 1 − α t − 2 − σ t − 1 2 1 − α t − 1 ⋅ E ( q σ ( x t − 1 ∣ x 0 , x t ) ) + ( α t − 2 − α t − 1 ⋅ ( 1 − α t − 2 − σ t − 1 2 ) 1 − α t − 1 ) ⋅ x 0 = 1 − α t − 2 − σ t − 1 2 1 − α t − 1 ⋅ ( 1 − α t − 1 − σ t 2 1 − α t ⋅ x t + [ α t − 1 − α t ⋅ ( 1 − α t − 1 − σ t 2 ) 1 − α t ] ⋅ x 0 ) + ( α t − 2 − α t − 1 ⋅ ( 1 − α t − 2 − σ t − 1 2 ) 1 − α t − 1 ) ⋅ x 0 = 1 − α t − 2 − σ t − 1 2 1 − α t − 1 ⋅ 1 − α t − 1 − σ t 2 1 − α t ⋅ x t + 1 − α t − 2 − σ t − 1 2 1 − α t − 1 ⋅ α t − 1 ⋅ x 0 − 1 − α t − 2 − σ t − 1 2 1 − α t − 1 ⋅ α t ⋅ ( 1 − α t − 1 − σ t 2 ) 1 − α t ⋅ x 0 + α t − 2 ⋅ x 0 − α t − 1 ⋅ ( 1 − α t − 2 − σ t − 1 2 ) 1 − α t − 1 ⋅ x 0 = 1 − α t − 2 − σ t − 1 2 1 − α t − 1 ⋅ 1 − α t − 1 − σ t 2 1 − α t ⋅ x t − 1 − α t − 2 − σ t − 1 2 1 − α t − 1 ⋅ α t ⋅ ( 1 − α t − 1 − σ t 2 ) 1 − α t ⋅ x 0 + α t − 2 ⋅ x 0 ⏟ x 0 = x t − 1 − α t ⋅ z t α t = 1 − α t − 2 − σ t − 1 2 1 − α t − 1 ⋅ 1 − α t − 1 − σ t 2 1 − α t ⋅ x t − 1 − α t − 2 − σ t − 1 2 1 − α t − 1 ⋅ α t ⋅ ( 1 − α t − 1 − σ t 2 ) 1 − α t ⋅ x t − 1 − α t ⋅ z t α t + α t − 2 ⋅ x t − 1 − α t ⋅ z t α t = 1 − α t − 2 − σ t − 1 2 1 − α t − 1 ⋅ 1 − α t − 1 − σ t 2 1 − α t ⋅ x t − 1 − α t − 2 − σ t − 1 2 1 − α t − 1 ⋅ α t ⋅ ( 1 − α t − 1 − σ t 2 ) 1 − α t ⋅ x t α t + 1 − α t − 2 − σ t − 1 2 1 − α t − 1 ⋅ α t ⋅ ( 1 − α t − 1 − σ t 2 ) 1 − α t ⋅ 1 − α t ⋅ z t α t + α t − 2 ⋅ x t − 1 − α t ⋅ z t α t = 1 − α t − 2 − σ t − 1 2 1 − α t − 1 ⋅ α t ⋅ ⋅ ( 1 − α t − 1 − σ t 2 ) 1 − α t ⋅ 1 − α t ⋅ z t α t + α t − 2 ⋅ x t − 1 − α t ⋅ z t α t = α t − 2 ⋅ x t − 1 − α t ⋅ z t α t ⏟ = x 0 + 1 − α t − 2 − σ t − 1 2 1 − α t − 1 ⋅ 1 − α t − 1 − σ t 2 ⋅ z t = = = = = = 令所有的 σ = 0 α t − 2 ⋅ x t − 1 − α t ⋅ z t α t + 1 − α t − 2 ⋅ z t \begin{equation} \begin{split} \mu_{t-2}&=E\big(q_\sigma(x_{t-2}|x_0,x_t)\big) \\ &=\int x_{t-2} \cdot q_\sigma(x_{t-2}|x_0,x_t)\cdot dx_{t-2} \\ &=\int x_{t-2} \cdot \bigg(\int q_\sigma(x_{t-2},|x_0,x_{t-1}) \cdot q_\sigma(x_{t-1}|x_0,x_{t}) \cdot dx_{t-1} \bigg) \cdot dx_{t-2} \\ &=\int \int x_{t-2} \cdot q_\sigma(x_{t-2},|x_0,x_{t-1}) \cdot q_\sigma(x_{t-1}|x_0,x_{t}) \cdot dx_{t-1} \cdot dx_{t-2} \\ &=\int \bigg( \int x_{t-2} \cdot q_\sigma(x_{t-2}|x_0,x_{t-1}) \cdot dx_{t-2} \bigg)\cdot q_\sigma(x_{t-1}|x_0,x_{t}) \cdot dx_{t-1} \\ &=\int \bigg(E(q_\sigma(x_{t-2},|x_0,x_{t-1}) \bigg)\cdot q_\sigma(x_{t-1}|x_0,x_{t}) \cdot dx_{t-1} \\ &=\int \bigg(\sqrt{\frac{1-\alpha_{t-2}-\sigma_{t-1}^2}{1-\alpha_{t-1}}}\cdot x_{t-1}+ \bigg[\sqrt{\alpha_{t-2}}- \frac{\sqrt{ \alpha_{t-1}\cdot (1-\alpha_{t-2}-\sigma_{t-1}^2} )}{\sqrt{1-\alpha_{t-1}}} \bigg] \cdot x_0 \bigg)\cdot q_\sigma(x_{t-1}|x_0,x_{t}) \cdot dx_{t-1} \\ &=\int \bigg(\sqrt{\frac{1-\alpha_{t-2}-\sigma_{t-1}^2}{1-\alpha_{t-1}}}\cdot x_{t-1} \bigg)\cdot q_\sigma(x_{t-1}|x_0,x_{t}) \cdot dx_{t-1} + \int \bigg(\sqrt{\alpha_{t-2}}- \frac{\sqrt{ \alpha_{t-1}\cdot (1-\alpha_{t-2}-\sigma_{t-1}^2} )}{\sqrt{1-\alpha_{t-1}}} \bigg) \cdot x_0 \cdot q_\sigma(x_{t-1}|x_0,x_{t}) \cdot dx_{t-1}\\ &=\sqrt{\frac{1-\alpha_{t-2}-\sigma_{t-1}^2}{1-\alpha_{t-1}}}\cdot \int x_{t-1}\cdot q_\sigma(x_{t-1}|x_0,x_{t}) \cdot dx_{t-1} +\bigg(\sqrt{\alpha_{t-2}}- \frac{\sqrt{ \alpha_{t-1}\cdot (1-\alpha_{t-2}-\sigma_{t-1}^2} )}{\sqrt{1-\alpha_{t-1}}} \bigg) \cdot x_0 \underbrace{ \int q_\sigma(x_{t-1}|x_0,x_{t}) \cdot dx_{t-1}}_{=1}\\ &=\sqrt{\frac{1-\alpha_{t-2}-\sigma_{t-1}^2}{1-\alpha_{t-1}}}\cdot E\bigg(q_\sigma(x_{t-1}|x_0,x_{t})\bigg) +\bigg(\sqrt{\alpha_{t-2}}- \frac{\sqrt{ \alpha_{t-1}\cdot (1-\alpha_{t-2}-\sigma_{t-1}^2} )}{\sqrt{1-\alpha_{t-1}}} \bigg) \cdot x_0 \\ &=\sqrt{\frac{1-\alpha_{t-2}-\sigma_{t-1}^2}{1-\alpha_{t-1}}}\cdot \bigg(\sqrt{\frac{1-\alpha_{t-1}-\sigma_t^2}{1-\alpha_{t}}}\cdot x_t+ \bigg[\sqrt{\alpha_{t-1}}- \frac{\sqrt{ \alpha_t\cdot (1-\alpha_{t-1}-\sigma_t^2} )}{\sqrt{1-\alpha_t}} \bigg] \cdot x_0 \bigg) +\bigg(\sqrt{\alpha_{t-2}}- \frac{\sqrt{ \alpha_{t-1}\cdot (1-\alpha_{t-2}-\sigma_{t-1}^2} )}{\sqrt{1-\alpha_{t-1}}} \bigg) \cdot x_0 \\ &=\sqrt{\frac{1-\alpha_{t-2}-\sigma_{t-1}^2}{1-\alpha_{t-1}}}\cdot \sqrt{\frac{1-\alpha_{t-1}-\sigma_t^2}{1-\alpha_{t}}}\cdot x_t + \bcancel{\sqrt{\frac{1-\alpha_{t-2}-\sigma_{t-1}^2}{1-\alpha_{t-1}}} \cdot \sqrt{\alpha_{t-1}}\cdot x_0} -\sqrt{\frac{1-\alpha_{t-2}-\sigma_{t-1}^2}{1-\alpha_{t-1}}}\cdot \frac{\sqrt{ \alpha_t\cdot (1-\alpha_{t-1}-\sigma_t^2} )}{\sqrt{1-\alpha_t}} \cdot x_0 + \sqrt{\alpha_{t-2}} \cdot x_0 - \bcancel{\frac{\sqrt{ \alpha_{t-1}\cdot (1-\alpha_{t-2}-\sigma_{t-1}^2} )}{\sqrt{1-\alpha_{t-1}}} \cdot x_0}\\ &=\sqrt{\frac{1-\alpha_{t-2}-\sigma_{t-1}^2}{1-\alpha_{t-1}}}\cdot \sqrt{\frac{1-\alpha_{t-1}-\sigma_t^2}{1-\alpha_{t}}}\cdot x_t -\sqrt{\frac{1-\alpha_{t-2}-\sigma_{t-1}^2}{1-\alpha_{t-1}}}\cdot \frac{\sqrt{ \alpha_t\cdot (1-\alpha_{t-1}-\sigma_t^2} )}{\sqrt{1-\alpha_t}} \cdot x_0 + \sqrt{\alpha_{t-2}} \cdot \underbrace{x_0}_{x_0=\frac{x_t-{\sqrt{1-\alpha_t}\cdot z_t}}{\sqrt{\alpha_t}}} \\ &=\sqrt{\frac{1-\alpha_{t-2}-\sigma_{t-1}^2}{1-\alpha_{t-1}}}\cdot \sqrt{\frac{1-\alpha_{t-1}-\sigma_t^2}{1-\alpha_{t}}}\cdot x_t -\sqrt{\frac{1-\alpha_{t-2}-\sigma_{t-1}^2}{1-\alpha_{t-1}}}\cdot \frac{\sqrt{ \alpha_t\cdot (1-\alpha_{t-1}-\sigma_t^2} )}{\sqrt{1-\alpha_t}} \cdot \frac{x_t-{\sqrt{1-\alpha_t}\cdot z_t}}{\sqrt{\alpha_t}} + \sqrt{\alpha_{t-2}} \cdot \frac{x_t-{\sqrt{1-\alpha_t}\cdot z_t}}{\sqrt{\alpha_t}} \\ &=\bcancel{\sqrt{\frac{1-\alpha_{t-2}-\sigma_{t-1}^2}{1-\alpha_{t-1}}}\cdot \sqrt{\frac{1-\alpha_{t-1}-\sigma_t^2}{1-\alpha_{t}}}\cdot x_t} -\bcancel{\sqrt{\frac{1-\alpha_{t-2}-\sigma_{t-1}^2}{1-\alpha_{t-1}}}\cdot \frac{\sqrt{ \alpha_t\cdot (1-\alpha_{t-1}-\sigma_t^2} )}{\sqrt{1-\alpha_t}} \cdot \frac{x_t}{\sqrt{\alpha_t}}} +\sqrt{\frac{1-\alpha_{t-2}-\sigma_{t-1}^2}{1-\alpha_{t-1}}}\cdot \frac{\sqrt{ \alpha_t\cdot (1-\alpha_{t-1}-\sigma_t^2} )}{\sqrt{1-\alpha_t}} \cdot \frac{{\sqrt{1-\alpha_t}\cdot z_t}}{\sqrt{\alpha_t}} + \sqrt{\alpha_{t-2}} \cdot \frac{x_t-{\sqrt{1-\alpha_t}\cdot z_t}}{\sqrt{\alpha_t}} \\ &=\sqrt{\frac{1-\alpha_{t-2}-\sigma_{t-1}^2}{1-\alpha_{t-1}}}\cdot \frac{\bcancel{\sqrt{\alpha_t}}\cdot \sqrt{ \cdot (1-\alpha_{t-1}-\sigma_t^2} )}{\bcancel{\sqrt{1-\alpha_t}}} \cdot \frac{{\bcancel{\sqrt{1-\alpha_t}}\cdot z_t}}{\bcancel{\sqrt{\alpha_t}}} + \sqrt{\alpha_{t-2}} \cdot \frac{x_t-{\sqrt{1-\alpha_t}\cdot z_t}}{\sqrt{\alpha_t}} \\ &=\sqrt{\alpha_{t-2}} \cdot \underbrace{ \frac{x_t-{\sqrt{1-\alpha_t}\cdot z_t}}{\sqrt{\alpha_t}}}_{=x_0}+ \sqrt{\frac{1-\alpha_{t-2}-\sigma_{t-1}^2}{1-\alpha_{t-1}}}\cdot \sqrt{ 1-\alpha_{t-1}-\sigma_t^2} \cdot z_t \\ &\stackrel{\mathrm{令所有的\sigma=0}}{======}\sqrt{\alpha_{t-2}} \cdot \frac{x_t-{\sqrt{1-\alpha_t}\cdot z_t}}{\sqrt{\alpha_t}} + \sqrt{1-\alpha_{t-2}}\cdot z_t \end{split} \end{equation} μt−2​​=E(qσ​(xt−2​∣x0​,xt​))=∫xt−2​⋅qσ​(xt−2​∣x0​,xt​)⋅dxt−2​=∫xt−2​⋅(∫qσ​(xt−2​,∣x0​,xt−1​)⋅qσ​(xt−1​∣x0​,xt​)⋅dxt−1​)⋅dxt−2​=∫∫xt−2​⋅qσ​(xt−2​,∣x0​,xt−1​)⋅qσ​(xt−1​∣x0​,xt​)⋅dxt−1​⋅dxt−2​=∫(∫xt−2​⋅qσ​(xt−2​∣x0​,xt−1​)⋅dxt−2​)⋅qσ​(xt−1​∣x0​,xt​)⋅dxt−1​=∫(E(qσ​(xt−2​,∣x0​,xt−1​))⋅qσ​(xt−1​∣x0​,xt​)⋅dxt−1​=∫(1−αt−1​1−αt−2​−σt−12​​ ​⋅xt−1​+[αt−2​ ​−1−αt−1​ ​αt−1​⋅(1−αt−2​−σt−12​ ​)​]⋅x0​)⋅qσ​(xt−1​∣x0​,xt​)⋅dxt−1​=∫(1−αt−1​1−αt−2​−σt−12​​ ​⋅xt−1​)⋅qσ​(xt−1​∣x0​,xt​)⋅dxt−1​+∫(αt−2​ ​−1−αt−1​ ​αt−1​⋅(1−αt−2​−σt−12​ ​)​)⋅x0​⋅qσ​(xt−1​∣x0​,xt​)⋅dxt−1​=1−αt−1​1−αt−2​−σt−12​​ ​⋅∫xt−1​⋅qσ​(xt−1​∣x0​,xt​)⋅dxt−1​+(αt−2​ ​−1−αt−1​ ​αt−1​⋅(1−αt−2​−σt−12​ ​)​)⋅x0​=1 ∫qσ​(xt−1​∣x0​,xt​)⋅dxt−1​​​=1−αt−1​1−αt−2​−σt−12​​ ​⋅E(qσ​(xt−1​∣x0​,xt​))+(αt−2​ ​−1−αt−1​ ​αt−1​⋅(1−αt−2​−σt−12​ ​)​)⋅x0​=1−αt−1​1−αt−2​−σt−12​​ ​⋅(1−αt​1−αt−1​−σt2​​ ​⋅xt​+[αt−1​ ​−1−αt​ ​αt​⋅(1−αt−1​−σt2​ ​)​]⋅x0​)+(αt−2​ ​−1−αt−1​ ​αt−1​⋅(1−αt−2​−σt−12​ ​)​)⋅x0​=1−αt−1​1−αt−2​−σt−12​​ ​⋅1−αt​1−αt−1​−σt2​​ ​⋅xt​+1−αt−1​1−αt−2​−σt−12​​ ​⋅αt−1​ ​⋅x0​ ​−1−αt−1​1−αt−2​−σt−12​​ ​⋅1−αt​ ​αt​⋅(1−αt−1​−σt2​ ​)​⋅x0​+αt−2​ ​⋅x0​−1−αt−1​ ​αt−1​⋅(1−αt−2​−σt−12​ ​)​⋅x0​ ​=1−αt−1​1−αt−2​−σt−12​​ ​⋅1−αt​1−αt−1​−σt2​​ ​⋅xt​−1−αt−1​1−αt−2​−σt−12​​ ​⋅1−αt​ ​αt​⋅(1−αt−1​−σt2​ ​)​⋅x0​+αt−2​ ​⋅x0​=αt​ ​xt​−1−αt​ ​⋅zt​​ x0​​​=1−αt−1​1−αt−2​−σt−12​​ ​⋅1−αt​1−αt−1​−σt2​​ ​⋅xt​−1−αt−1​1−αt−2​−σt−12​​ ​⋅1−αt​ ​αt​⋅(1−αt−1​−σt2​ ​)​⋅αt​ ​xt​−1−αt​ ​⋅zt​​+αt−2​ ​⋅αt​ ​xt​−1−αt​ ​⋅zt​​=1−αt−1​1−αt−2​−σt−12​​ ​⋅1−αt​1−αt−1​−σt2​​ ​⋅xt​ ​−1−αt−1​1−αt−2​−σt−12​​ ​⋅1−αt​ ​αt​⋅(1−αt−1​−σt2​ ​)​⋅αt​ ​xt​​ ​+1−αt−1​1−αt−2​−σt−12​​ ​⋅1−αt​ ​αt​⋅(1−αt−1​−σt2​ ​)​⋅αt​ ​1−αt​ ​⋅zt​​+αt−2​ ​⋅αt​ ​xt​−1−αt​ ​⋅zt​​=1−αt−1​1−αt−2​−σt−12​​ ​⋅1−αt​ ​ ​αt​ ​ ​⋅⋅(1−αt−1​−σt2​ ​)​⋅αt​ ​ ​1−αt​ ​ ​⋅zt​​+αt−2​ ​⋅αt​ ​xt​−1−αt​ ​⋅zt​​=αt−2​ ​⋅=x0​ αt​ ​xt​−1−αt​ ​⋅zt​​​​+1−αt−1​1−αt−2​−σt−12​​ ​⋅1−αt−1​−σt2​ ​⋅zt​======令所有的σ=0αt−2​ ​⋅αt​ ​xt​−1−αt​ ​⋅zt​​+1−αt−2​ ​⋅zt​​​​
论文中跳步过程如公式（4）所示，结果貌似与论文中公式略有不同。但是，公式中的 σ t \sigma_t σt​是自定义的，因此如果我们令 σ t = 0 \sigma_t=0 σt​=0，也就是 x t x_t xt​的取值都是确定的，不存在方差了，那么就可以实现跳 2 2 2步了。这个只是均值，至于方差，既然已经令 σ t = 0 \sigma_t=0 σt​=0了，那分布 q σ ( x t − 2 ∣ x 0 , x t ) q_\sigma(x_{t-2}|x_0,x_t) qσ​(xt−2​∣x0​,xt​)的方差 σ t − 2 2 \sigma_{t-2}^2 σt−22​肯定等于 0 0 0了。同样的道理，跳 n n n步的公式就是 q σ ( x t − n ∣ x t , x 0 ) = α t − n ⋅ x t − 1 − α t ⋅ z t α t + 1 − α t − n ⋅ z t q_\sigma(x_{t-n}|x_t,x_0)=\sqrt{\alpha_{t-n}} \cdot \frac{x_t-{\sqrt{1-\alpha_t}\cdot z_t}}{\sqrt{\alpha_t}} + \sqrt{1-\alpha_{t-n}}\cdot z_t qσ​(xt−n​∣xt​,x0​)=αt−n​ ​⋅αt​ ​xt​−1−αt​ ​⋅zt​​+1−αt−n​ ​⋅zt​，可以用数学归纳法证明，这里就不证明了。基于DDIM的多数论文，例如暗图像增强方法LightenDiffusion等，也都是令 σ t = 0 \sigma_t=0 σt​=0。论文和代码中使用的跳 n n n步的采样过程如公式（4）所示。
x t − n = α t − n ⋅ x t − 1 − α t ⋅ z t α t ⏟ 预测出 z t , 进而计算出 x 0 + 1 − α t − n − σ t 2 ⋅ z t + σ t 2 ϵ t ⏟ 标准高斯分布 \begin{equation} \begin{split} x_{t-n}&=\sqrt{\alpha_{t-n}}\cdot \underbrace{\frac{x_t-{\sqrt{1-\alpha_t}\cdot z_t}}{\sqrt{\alpha_t}}}_{预测出z_t,进而计算出x_0}+\sqrt{1-\alpha_{t-n}-\sigma_t^2}\cdot z_t + \sigma_t^2 \underbrace{ \epsilon_t}_{标准高斯分布} \\ \end{split} \end{equation} xt−n​​=αt−n​ ​⋅预测出zt​,进而计算出x0​ αt​ ​xt​−1−αt​ ​⋅zt​​​​+1−αt−n​−σt2​ ​⋅zt​+σt2​标准高斯分布 ϵt​​​​​​

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2326947.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Git（八）如何在同一台电脑登录两个Git

Git（八）如何在同一台电脑登录两个Git

目录 一、理解 SSH 密钥机制二、具体实现步骤1.删除GIT全局配置2.生成多个 SSH 密钥3.添加公钥到 Git 账户4.配置 SSH config 文件5.测试SSH key是否生效6.下载代码 三、Git仓库级别配置四、HTTPS方式的多账号管理 引言： 在日常开发中，我们经常会遇到需要…
阅读更多...
如何改电脑网络ip地址：一步步指导

如何改电脑网络ip地址：一步步指导

有时我们需要更改电脑的网络IP地址以满足特定的网络需求。本文将为您提供一份详细的步骤指南，帮助您轻松完成电脑网络IP地址的更改。以下是更改计算机IP地址的分步指南，适用于常见的操作系统： 一、更换内网ip Windows 系统（Win10…
阅读更多...
PyTorch 分布式训练（Distributed Data Parallel, DDP）简介

PyTorch 分布式训练（Distributed Data Parallel, DDP）简介

PyTorch 分布式训练（Distributed Data Parallel, DDP） 一、DDP 核心概念 torch.nn.parallel.DistributedDataParallel 1. DDP 是什么？ Distributed Data Parallel (DDP) 是 PyTorch 提供的分布式训练接口，DistributedDataPara…
阅读更多...
【Unity】记录TMPro使用过程踩的一些坑

【Unity】记录TMPro使用过程踩的一些坑

1、打包到webgl无法输入中文，编辑器模式可以，但是webgl不行，试过网上的脚本，还是不行 解决方法：暂时没找到 2、针对字体asset是中文时，overflow的效果模式处理奇怪，它会出现除了overflow模式以…
阅读更多...
计算机视觉初步（环境搭建）

计算机视觉初步（环境搭建）

1.anaconda 建议安装在D盘，官网正常安装即可，一般可以安装windows版本 安装成功后，可以在电脑应用里找到： 2.创建虚拟环境 打开anaconda prompt， 可以用conda env list 查看现有的环境，一般打开默认bas…
阅读更多...
基于聚类与引力斥力优化的选址算法

基于聚类与引力斥力优化的选址算法

在众多实际场景中，诸如消防设施选址、基站布局规划以及充电桩站点部署等，都面临着如何利用最少的资源，实现对所有目标对象全面覆盖的难题。为有效解决这类问题，本文提出一种全新的组合算法模型 —— 基于聚类与引力斥力优化的选址…
阅读更多...
Mac 电脑移动硬盘无法识别的解决方法

Mac 电脑移动硬盘无法识别的解决方法

在使用 Mac 电脑的过程中，不少用户都遇到过移动硬盘没有正常推出，导致无法识别的问题。这不仅影响了数据的传输，还可能让人担心硬盘内数据的安全。今天，我们就来详细探讨一下针对这一问题的解决方法。 当发现移动硬盘无法识别时&…
阅读更多...
LeetCode Hot100 刷题笔记（4）—— 二叉树、图论

LeetCode Hot100 刷题笔记（4）—— 二叉树、图论

目录 一、二叉树 1. 二叉树的深度遍历（DFS：前序、中序、后序遍历） 2. 二叉树的最大深度 3. 翻转二叉树 4. 对称二叉树 5. 二叉树的直径 6. 二叉树的层序遍历 7. 将有序数组转换为二叉搜索树 8. 验证二叉搜索树 9. 二叉搜索树中第 K 小的元素 …
阅读更多...
【计算机视觉】YOLO语义分割

【计算机视觉】YOLO语义分割

一、语义分割简介 1. 定义 语义分割（Semantic Segmentation）是计算机视觉中的一项任务，其目标是对图像中的每一个像素赋予一个类别标签。与目标检测只给出目标的边界框不同，语义分割能够在像素级别上区分不同类别，从…
阅读更多...
【SpringBoot + MyBatis + MySQL + Thymeleaf 的使用】

【SpringBoot + MyBatis + MySQL + Thymeleaf 的使用】

目录： 一：创建项目二：修改目录三：添加配置四：创建数据表五：创建实体类六：创建数据接口七：编写xml文件八：单元测试九：编写服务层十：编写控制层十一…
阅读更多...
在ensp进行OSPF+RIP+静态网络架构配置

在ensp进行OSPF+RIP+静态网络架构配置

一、实验目的 1.Ospf与RIP的双向引入路由消息 2.Ospf引入静态路由信息 二、实验要求 需求： 路由器可以互相ping通 实验设备： 路由器router7台 使用ensp搭建实验坏境，结构如图所示 三、实验内容 1.配置R1、R2、R3路由器使用Ospf动态路由…
阅读更多...
Redis安全与配置问题——AOF文件损坏问题及解决方案

Redis安全与配置问题——AOF文件损坏问题及解决方案

Java 中的 Redis AOF 文件损坏问题全面解析 一、AOF 文件损坏的本质与危害 1.1 AOF 持久化原理 Redis 的 AOF（Append-Only File） 通过记录所有写操作命令实现持久化。文件格式如下： *2\r\n$6\r\nSELECT\r\n$1\r\n0\r\n *3\r\n$3\r\nSET\r\…
阅读更多...
3.第二阶段x64游戏实战-分析人物移动实现人物加速

3.第二阶段x64游戏实战-分析人物移动实现人物加速

免责声明：内容仅供学习参考，请合法利用知识，禁止进行违法犯罪活动！ 本次游戏没法给 内容参考于：微尘网络安全 上一个内容：2.第二阶段x64游戏实战-x64dbg的使用 想找人物的速度，就需要使用Ch…
阅读更多...
Scala（三）

Scala（三）

本节课学习了函数式编程，了解到它与Java、C函数式编程的区别；学习了函数的基础，了解到它的基本语法、函数和方法的定义、函数高级。。。学习到函数至简原则，高阶函数，匿名函数等。 函数的定义 函数基本语法 例子&…
阅读更多...
什么是 Java 泛型

什么是 Java 泛型

一、什么是 Java 泛型？ 泛型（Generics） 是 Java 中一种强大的编程机制，允许在定义类、接口和方法时使用类型参数。通过泛型，可以将数据类型作为参数传递，从而实现代码的通用性和类型安全。 简单来说&…
阅读更多...
Unity中根据文字数量自适应长宽的对话气泡框UI 会自动换行

Unity中根据文字数量自适应长宽的对话气泡框UI 会自动换行

使用Ugui制作一个可以根据文本数量自动调整宽度,并可以自动换行的文字UI 或者不要独立的Bg,那么一定要把bg的img设置成切片
阅读更多...
【小也的Java之旅系列】02 分布式集群详解

【小也的Java之旅系列】02 分布式集群详解

文章目录 前言为什么叫小也 本系列适合什么样的人阅读正文单体优点缺点 CAP为什么CAP不可能全部满足？CAP 三选二 分布式事务分布式方案——SeataXA模式（强一致）AT模式（自动补偿，默认模式）TCC模式&#xff0…
阅读更多...
Ubuntu里安装Jenkins

Ubuntu里安装Jenkins

【方式1】：下载war包，直接运行，需提前搭建Java环境，要求11或17，不推荐，war包下载地址，将war包上传到服务器，直接使用命令启动 java -jar /data/jenkins/jenkins.war【方式2】&#…
阅读更多...
C++包管理工具vcpkg的安装使用教程

C++包管理工具vcpkg的安装使用教程

前言 使用vcpkg可以更方便地安装各种库，省去配置的时间和配置失败的风险，类似python中的anaconda，懒人必备 参考 安装参考：https://bqcode.blog.csdn.net/article/details/135831901?fromshareblogdetail&sharetypeblogde…
阅读更多...
微服务面试题：配置中心

微服务面试题：配置中心

🧑 博主简介：CSDN博客专家，历代文学网（PC端可以访问：https://literature.sinhy.com/#/?__c1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，精通Java编…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023