阿里团队刚发布的重磅图像生成基础模型，多重条件引导+图像合成，SD级别，5B参数...

news2024/12/23 14:42:15

一个多小时前刚发的论文，Composer: Creative and Controllable Image Synthesis with Composable Conditions。我读完了快速帮大家概要一下啊。论文地址见文章最后。

阿里巴巴团队开发的这个重磅图像生成模型 Compose，支持多重引导条件的图像生成(合成)（扩散模型）。跟 Stable Diffuison 属于同等级别的基础模型，但路线有差异。

核心特点是支持多重引导条件的图像合成。论文里公布的引导条件包括 (caption) 文本 prompt、（sketch）草稿、（palette ）调色板、（depthmap）深度图、（Instances）形状图、（masking）蒙版图、（Intensity）灰度图，以及风格参考图。可以用多张输入图片作为多重条件同时引导，生成/重组为结果图片。你可以理解为是一种高级的图像 remix。

模型规模：5B 参数。虽然参数也不是决定因素。5B 参数（虽然参数规模不一定能跟效果挂钩）。同类基础模型的比较，DALLE-2: 3.5B, Google Imagen: 4.6 B, Stable Diffusion 的第一个版本，不到1B 参数。

使用Composer可以创建与输入图像类似的变体，通过设置引导条件的组合，灵活控制图像如何变化。Compose 将图像分解为具有代表性的因素（representative factors），以所有这些因素为条件，训练扩散模型，对输入图像进行重组。在推理阶段，这些丰富的 intermediate representations 作为重组的要素发挥作用。

从论文里的Demo看，效果不错。

下面两张demo图，每一行6张是生成的结果图片，侧面小图是用珍珠耳环少女图转化而成的 input condition, 底部小图/文本是调色板、深度图、草稿这些引导条件。

用文本prompt引导的风格迁移

Remix，风格插值（Style Interpolations）

input image （最左边娃娃图）+ 不同 sketch 引导图的重组合成 (Reformulation)。最右边一张跟神奈川冲浪图sketch 的合成让我影响深刻，integration 很 makesense，不生硬。

4重引导条件（shape + sketch + palette + pic）的合成结果

论文里提到了3种图像控制手段：1 插值 Interpolations（通过在两个图像的全局表示的嵌入空间中遍历，混合这两个图像以进行变异。Composer 能够精确控制在两个图像之间插值的要素以及需要保持不变的要素，产生多种插值方向），2 重构 Reconfigurations；3 ，指定可编辑区域（蒙版），提供了强大的图像编辑\设计功能。

1. 图像插值 Interpolations 的demo。

第二行起，左边的小图是调色板、轮廓图等引导条件，图中可见加入引导条件后，对第一行最左和最右两张图像remix 结果的影响。引导条件决定了remix 过程中的哪些图像要素得如何变化，哪些要素得到保留。