Concept Sliders 是一种用于扩散模型(如 Stable Diffusion)的LoRA 适配器,允许用户在图像生成过程中对特定概念进行精细控制。与依赖提示词生成图像的传统方法不同,Concept Sliders 通过引入可调整的“滑块”,用户可以在保持图像整体结构不变的情况下,调节某些特定属性(如眼睛大小、光照强度、风格等)的强度,从而实现更高精度的图像生成和编辑,而无需反复修改提示词。
- 概念滑动器: 为扩散模型中的特定概念创建滑动器,允许用户通过调整滑动器的数值来控制图像生成或编辑的特定特征,如年龄、性别、眼睛大小等。
- 支持多种扩散模型: 支持 SD1.x 和 SD2.x 版本的扩散模型训练,还包括 SD-XL 版本的扩展。
- 项目支持实验性的 FLUX-1 模型 滑动器训练,尽管该模型与 SDXL 架构不同,但可以用于尝试基于 FLUX 的滑动器。
- 文本滑动器: 基于文本描述的滑动器,通过输入描述如“我想让人看起来更高兴”,来生成相应的滑动器。
- 图像滑动器: 可以基于一组图像(如编辑前后的图片对)训练滑动器来实现图像编辑。
- 项目集成了 ControlNet 功能,使得社区用户可以通过该技术进一步增强滑动器的控制效果,扩展其应用场景。
主要功能:
- 精确调整图像中的概念:
- 通过 LoRA 适配器 对扩散模型进行微调,以创建用于精确控制特定图像特征的滑动器。例如,控制年龄、性别、表情等。
- 用户可以通过简单的滑动调整参数来控制图像中的某些元素,来实现对生成或编辑图像中具体特征的控制。例如,你可以让人物的眼睛变大或变小,或者调整画面中的光照强度。这种控制是连续的,你可以根据需求微调,直到满意为止。
- 文本概念滑块:
- 用户可以通过描述文本来生成滑动器。例如,输入 “我想让人看起来更高兴”,模型会生成一个用于调整“开心”程度的滑动器。
- 提供 GPT-4 生成滑动器的集成功能,使得创建滑动器更加便捷。
- 当你通过提示语生成图像时,通常会希望对某些属性进行更细致的调整,比如“年轻人”和“老年人”之间的过渡。文本概念滑块允许你通过输入简单的文字描述,训练模型记住这些概念,然后通过滑块来控制这个概念的强弱。例如,你可以让图像中的人物随着滑块移动逐渐变老,而不改变其他属性。
By using a small set of textual descriptions of the attributes to control, Concept Sliders can be trained to allow finegrained control of generated images during inference. By scaling the slider factor, users can control the strength of the edit.
通过使用一小组要控制的属性的文本描述,可以训练概念滑块以允许在推理过程中对生成的图像进行细粒度控制。通过缩放滑块系数,用户可以控制编辑的强度。
We show how several attributes of an image can be controlled using different sliders. We note that due to the low-rank formulation, the parameters are light weight, easy to share, and plug.
我们展示了如何使用不同的滑块控制图像的多个属性。我们注意到,由于低秩公式,参数重量轻,易于共享和插入。
e demonstrate weather sliders for “delightful”, “dark”, “tropical”, and “winter”. For delightful, we notice that the model sometimes make the weather bright or adds festive decorations. For tropical, it adds tropical plants and trees. Finally, for winter, it adds snow.
我们演示了“宜人”、“黑暗”、“热带”和“冬季”的天气滑块。为了令人愉快,我们注意到模型有时会使天气明亮或添加节日装饰。对于热带地区,它添加了热带植物和树木。最后,在冬天,它增加了雪。
视觉概念滑块:
- 支持基于一组图像(例如:编辑前后的图像对)来训练滑动器,实现对特定视觉特征(如眼睛大小、面部特征等)的精确控制。
- 可用于对图像的属性进行细致编辑,例如放大眼睛、改变面部表情等。
- 有些视觉元素可能很难用文字描述,比如微小的面部表情变化或者不同的光影效果。对于这些难以用文字描述的概念,Concept Sliders 支持通过成对的图像训练滑块,你可以选择几张具有对比效果的图片,来训练模型识别这些细节,然后通过滑块来调节这些视觉元素。