Stable Diffusion 是一款免费、开源的 AI 图像生成器，由 Stability AI 公司于 2022 年 8 月推出1。以下是关于它的详细介绍：

目录

工作原理

特点

应用场景

主要版本

---

工作原理

Stable Diffusion 属于潜在扩散模型，主要由三部分组成：变分自编码器（VAE）、U-Net 和可选的文本编码器。具体工作流程如下：

1. 图像压缩：VAE 编码器将图像从像素空间压缩到较小维度的潜在空间，以捕获图像更基本的语义含义。
2. 正向扩散：在潜在空间中，对压缩后的潜在表示迭代地添加高斯噪声。
3. 反向去噪：U-Net 模块基于预训练的 CLIP 文本编码器和注意力机制，对正向扩散的输出进行反向去噪，以获得潜在表示。
4. 图像生成：VAE 解码器将潜在表示转换回像素空间，生成最终的图像。

特点

• 高质量图像生成：能够生成高分辨率、逼真且细节丰富的图像，具有出色的色彩和真实感1。
• 高度灵活性和可控性：用户可以通过输入不同的文本描述来精确控制生成图像的内容、风格、构图等，还可以进行局部修改和扩展图像。
• 稳定性高：在训练和生成过程中相对更不容易出现崩溃或模型不稳定的情况，提高了开发和使用效率1。
• 开源免费：其代码和模型权重开源，任何人都可以自由地访问、修改和扩展，同时也降低了使用成本3。
• 可在消费级硬件上运行：与其他一些深度学习模型相比，对硬件要求相对较低，普通消费者配备有一定显存的 GPU 的电脑就可以运行。

应用场景

• 艺术与设计领域：艺术家和设计师可以利用它快速生成创意图像，探索新的视觉风格，用于插图、概念艺术、角色设计、服装设计等方面，为创作提供灵感和素材。
• 游戏开发：游戏开发者能够快速创建游戏中的角色、环境、道具等资产，加速游戏原型设计和内容迭代，构建丰富多样的游戏世界。
• 电影和动画制作：可用于生成背景、特效和角色设计等，帮助创作者实现视觉创意，提升影视作品的视觉效果和质量。
• 广告与营销：生成吸引人的广告海报、产品图片、宣传视频等，以独特的视觉效果吸引消费者的注意力，提高广告的点击率和转化率。
• 建筑设计：根据线稿图或简单的描述生成建筑效果图，为设计师提供灵感和参考，辅助建筑设计和城市规划。
• 用户界面（UI）与图标设计：生成具有质感的游戏或 UI 图标，以及各种风格的运营图标，提高设计效率和质量。

主要版本

• SD2.0：在 2022 年 11 月推出，对模型进行了优化和改进，提高了图像生成的质量和稳定性。
• SDXL0.9：2023 年 6 月发布，具备一个 35 亿参数的基础模型和一个 66 亿参数的附加模型，能够创建深度更广、分辨率更高的逼真图像。
• Stable Diffusion 3：2024 年 2 月 22 日发布早期预览版，在图片质量、多主题提示和单词拼写能力方面有大幅提升，模型尺寸从 800m 到 8B 参数，适用于各种设备的部署。