文生图领域经典-ControlNet介绍

news2024/11/23 0:01:27

引言

2023年的计算机视觉领域顶级学术会议ICCV上，一篇颠覆文生图AI领域的论文《Adding Conditional Control to Text-to-Image Diffusion Models》——ControlNet 荣膺最佳论文奖(Marr奖)。
在这里插入图片描述

自开源以来，ControlNet已经在GitHub上揽获25k星。无论是对扩散模型、还是对整个计算机视觉领域而言，这篇论文获奖都可以说是实至名归。
在这里插入图片描述

基本原理

ControlNet 是一种尖端神经网络，旨在增强图像生成模型的功能，特别是基于Stable Diffuison等扩散过程的模型。
在这里插入图片描述
从本质上讲，ControlNet 充当基于扩散的文本到图像生成模型的指导。虽然传统的图像生成模型可以产生令人惊叹的视觉效果，但它们通常缺乏指导，因此无法生成符合用户所需图像合成的图像。ControlNet 通过允许额外的图像输入来改变游戏规则，该输入可用于调节（影响）最终图像生成。充当指导角色的可以是任何东西，从简单的涂鸦到复杂的深度图或边缘图。通过对这些输入图像进行调节，ControlNet 指示Stable Diffusion模型生成与用户意图紧密一致的图像。

想象一下，能够勾画出粗略的轮廓或提供基本的深度图，然后让人工智能填充细节，生成高质量、连贯的图像。应用范围广泛，从数字艺术和视频游戏设计到高级模拟和虚拟现实。借助 ControlNet，指导和完善图像生成过程的能力现在掌握在用户手中，从而缩小了人类创造力和机器精度之间的差距。

随着我们不断突破人工智能的极限，ControlNet 等工具提醒我们，内容创作的未来不仅仅在于自动化，还在于人与机器之间的协作。

技术架构

ControlNet 是Stable Diffusion模型的迭代。对于那些熟悉复杂神经网络设计的人来说，嵌入 ControlNet 中的 U-Net 模型可能看起来很熟悉。这是因为它是原始SD模型的直接后代。它锁定原始稳定扩散模型，并创建原始模型的可训练副本以及以调节向量 c 作为输入的零卷积层。
在这里插入图片描述
但 ControlNet 真正的亮点在于其创新性的补充。其中包括一个可训练的编码器，它本质上是 U-Net Stable Diffusion编码器的分身。然而，这对双胞胎不仅仅是为了摆样子，它被设计为完全可训练的，赋予它在空间上影响输出图像结果的卓越能力。这是通过向该编码器提供噪声和边缘来实现的。对于外行来说，这里的边缘是目标图像轮廓的表示，提供了构建图像的框架或脚手架。本质上，ControlNet 克隆扩散模型的权重，然后训练克隆的权重以根据输入条件的任务来控制原始模型。

但是那些神秘的“零卷积”层呢？这些层充当控制编码器和Stable Diffusion U-Net 之间的重要管道。ControlNet 上下文中的“零卷积”特指一维卷积层，其中权重和偏差都初始化为零。现在，在神经网络架构的宏伟计划中，权重初始化至关重要。通常，权重和偏差是用小的随机值设置的。这种随机性是战略性的，可确保在训练过程中，神经元不仅同步进化，而且会发散，每个神经元都学习不同的特征和模式。

但 ControlNet 偏离此约定是有原因的。将这些一维卷积层初始化为零有一个独特且深思熟虑的目的。由于零卷积不会向网络添加噪声，因此模型应该始终能够生成高质量的图像。

应用例

让我们一起看看不同领域的 ControlNet 的一些有趣用例。

时尚

借助 ControlNet，时装设计师可以勾勒出服装的粗略想法或轮廓，系统可以生成这些设计的真实描述，并包含复杂的图案、纹理和颜色。这种快速的可视化可以帮助设计师对款式、剪裁和整体设计美学做出快速决策。
在这里插入图片描述

建筑与改造

建筑师可以将建筑设计的草图或基本轮廓输入 ControlNet。然后，系统可以提供详细的可视化效果，填充纹理、材料和潜在的照明场景，从而提供最终结构的更全面的视图。
在这里插入图片描述
装修者和室内设计师可以让他们的客户在 ControlNet 的帮助下直观地了解改造其住宅或家居室内装饰后的输出效果。