classifier-guided
训练阶段
diffusion model 和 classifier分开训练。
diffusion model的数据训练数据为
classifier的数据训练数据为
生成图片阶段
每一个时间步的降噪中会用当前时间步图片在classifier的类别梯度来调整均值。（如上图所示）
之前写了一篇文章有详细介绍。
优点：
不用重新训练diffusion model就能引导朝向期望类别的图片生成。
缺点：
需要额外训练一个分类器，架构不够简洁
只能生成特定类别的图片，无法实现语义级别的生成。
2. classifier-free
训练阶段
只需训练diffusion model ，但该diffusion model有一个语义输入。一般采用cross-attention来将语义特征与图片特征进行融合。
diffusion model的数据训练数据为
是图片 对应的语义描述。
生成图片阶段
生成阶段无需分类器引导。生成过程每一个时间步的生成需要将语义embedding也输入到diffusion model中，详细可参考
优点：
架构简洁
可以实现语义级别的图像生成如现在大火的stable-diffusion
缺点：
需要重新训练diffusion model，训练成本较大。stable diffusion 在Laion5B用了256张A100训练15w 机时，一般公司无法承担如此大的训练成本。
