19天
本节学了Diffusion扩散模型相关知识,并且通过实例完成扩散模型。
Diffusion是从纯噪声开始通过一个神经网络学习逐步去噪,最终得到一个实际图像。
1.Diffusion对于图像的处理包括以下两个过程:
1.1我们选择的固定(或预定义)正向扩散过程 𝑞:它逐渐将高斯噪声添加到图像中,直到最终得到纯噪声
1.2一个学习的反向去噪的扩散过程 𝑝𝜃:通过训练神经网络从纯噪声开始逐渐对图像去噪,直到最终得到一个实际的图像
扩散模型实现原理
1.Diffusion 前向过程
2.Diffusion 逆向过程
3.U-Net神经网络预测噪声
构建Diffusion模型
1.位置向量
2.ResNet/ConvNeXT块
3.Attention模块
4.组归一化
5.条件U-Net
6.正向扩散
步骤:
1.数据准备与处理
2.采样
3.训练过程
4.推理过程(从模型中采样)