StabilityAI刚刚发布了SD3-Turbo的论文：Fast High-Resolution Image Synthesis with Latent Adversarial Diffusion Distillation。

SD3-Turbo采用了一种新的蒸馏方法：Latent Adversarial Diffusion Distillation (LADD)，与基于像素的ADD（Adversarial Deformation-Driven Diffusion）相比，LADD利用了预训练latent diffusion model的生成特征。这种方法简化了训练过程并提高了性能，使得能够合成高分辨率的多宽高比图像。

将LADD应用于Stable Diffusion 3（8B），得到了SD3-Turbo，这是一个快速的模型，仅使用四步无引导采样就能匹配最先进的文本到图像生成器的性能。此外，这里还系统地研究了它的scaling能力，并展示了LADD在各种应用中的有效性，如图像编辑和图像inpainting。

文章参考自SD3-Turbo来了：只需要4步就能超过MidjourneyV6！，感谢博主的辛苦工作！

LADD架构图如下，ADD（上两行）在像素空间计算了一个蒸馏损失，并在DINOv2特征之上计算了一个对抗性损失，因此需要从潜在空间到像素空间进行较高成本的解码。而在LADD（下一行）中，使用教师模型进行合成数据生成，并使用其特征进行对抗性损失计算，这可以完全在潜在空间中进行训练。

LADD蒸馏方法有很好的scaling能力：

基于LADD的SD3-Turbo超过之前的LCM和SDXL-Lighting：

SD3-Turbo只需要4步，在生成效果上可以匹敌SOTA的模型，如Midjourney V6 和DALL-E 3。

此外，LADD还可以用于图像编辑：

以及图像inpainting：

 感谢你看到这里，也欢迎点击关注下方公众号或者扫描添加下方公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术，欢迎一起交流学习💗～