我们认为，上述方法的主要问题在于文本到图像扩散模型的交叉注意力模块。对预训练扩散模型中交叉注意力层的键和值投影权重进行训练，以适应文本特征。因此，将图像特征和文本特征合并到交叉注意力层中只能完成图像特征与文本特征的对齐，但这可能会遗漏一些特定于图像的信息，并最终导致仅使用参考图像进行粗粒度可控生成（例如，图像样式）。

        为此，我们提出了一种更有效的图像提示适配器，命名为IP-Adapter，以避免了前人方法的缺点。具体而言，IP-Adapter对文本特征和图像特征采用解耦的交叉注意力机制。对于扩散模型的UNet中的每个交叉注意力层，我们仅为图像特征添加一个额外的交叉注意力层。在训练阶段，只训练新的交叉注意力层的参数，而原来的UNet模型保持冻结状态。我们提出的适配器是轻量级的，但非常高效：只有22M参数的IP适配器的生成性能可与文本到图像扩散模型中完全微调的图像提示模型相媲美。更重要的是，我们的 IP 适配器具有出色的泛化能力，并且与文本提示兼容。使用我们提出的 IP 适配器，可以轻松完成各种图像生成任务，如下图所示。

        大型文本转图像模型主要分为两类：自回归模型和扩散模型。早期的作品，如DALLE [ 13 ]、CogView [ 14， 15 ]和Make-A-Scene [ 16]，都是自回归模型。对于自回归模型，使用像VQ-VAE [ 17 ]将图像转换为token，然后训练一个以文本标记为条件的自回归转换器[18]来预测图像标记。然而，自回归模型通常需要较大的参数和计算资源来生成高质量的图像，如Parti [19]所示。

        最近，扩散模型（DMs）[20,21,22,23]已成为文本到图像生成的新模型。作为先驱，GLIDE采用级联扩散架构，分辨率为64×64，分辨率为3.5B文本条件扩散模型，分辨率为256×256，分辨率为1.5B文本条件上采样扩散模型。DALL-E 2 采用扩散模型条件图像嵌入，并训练先前的模型通过给出文本提示来生成图像嵌入。DALL-E 2 不仅支持图像生成的文本提示，还支持图像提示。为了增强对文本的理解，Imagen 采用了 T5 [ 24]，一个在纯文本数据上预训练的大型 transformer 语言模型，作为扩散模型的文本编码器。Re-Imagen [ 25 ] 使用检索到的信息来提高稀有或看不见实体的生成图像的保真度。SD 建立在潜在扩散模型 [ 4 ] 之上，该模型在潜在空间而不是像素空间上运行，使 SD 能够仅使用扩散模型生成高分辨率图像。为了改善文本对齐，eDiff-I 设计了一组文本到图像扩散模型，利用了多种条件，包括 T5 文本、CLIP 文本和 CLIP 图像嵌入。Versatile Diffusion [ 26 ] 提出了一个统一的多流扩散框架，以支持单个模型中的文本到图像、图像到文本和变体。为了实现可控的图像合成，Composer [ 27] 提出了一种在以图像嵌入为条件的预训练扩散模型上具有各种条件的联合微调策略。RAPHAEL在文本条件图像扩散模型中引入了混合专家（MoE）策略[28,29]，以提高图像质量和审美吸引力。

        DALL-E 2 的一个吸引人的特点是它还可以使用图像提示来生成图像变化。因此，还有一些工作需要探索，以支持仅以文本为条件的文本到图像扩散模型的图像提示。SD 图像变化模型是从修改后的 SD 模型微调而来的，其中文本特征被替换为 CLIP 图像编码器的图像嵌入。稳定的unCLIP也是SD上的微调模型，其中图像嵌入被添加到时间嵌入中。虽然微调模型可以成功地使用图像提示生成图像，但往往需要比较大的训练成本，并且无法与现有工具兼容，例如ControlNet[9]。

        由于微调大型预训练模型效率低下，另一种方法是使用适配器，它添加了一些可训练的参数，但会冻结原始模型。适配器在NLP领域已经应用了很长时间[30]。最近，适配器已被用于实现大型语言模型的视觉语言理解[31,32,33,34,35]。

        随着最近文本到图像模型的普及，适配器也被用于为文本到图像模型的生成提供额外的控制。ControlNet [9] 首先证明了可以使用预训练的文本到图像扩散模型来训练适配器，以学习特定于任务的输入条件，例如 canny edge。几乎同时，T2I适配器[11]采用简单轻量级的适配器来实现对生成图像的颜色和结构的细粒度控制。为了降低微调成本，Uni-ControlNet [ 12 ] 提出了一种多尺度条件注入策略来学习各种局部控制的适配器。

        除了用于结构控制的适配器外，还有根据所提供图像的内容和风格进行可控生成的工作。ControlNet Shuffle 经过训练，可以重新组合图像，可用于指导由用户提供的图像生成。此外，还提出了ControlNet Reference-only，通过简单的特征注入在SD模型上实现图像变体，无需训练。在 T2I 适配器的更新版本中，样式适配器旨在通过将从 CLIP 图像编码器中提取的图像特征附加到文本特征来使用参考图像来控制生成图像的样式。Uni-ControlNet的全局控制适配器还将CLIP图像编码器的图像嵌入投射到小网络的条件嵌入中，并与原始文本嵌入连接起来，用于指导参考图像的样式和内容的生成。SeeCoder [10] 提出了一个语义上下文编码器来替换原始文本编码器以生成图像变体。

        尽管上述适配器是轻量级的，但它们的性能几乎无法与微调的图像提示模型相提并论，更不用说从头开始训练的模型了。在这项研究中，我们引入了一种解耦的交叉注意力机制，以实现更有效的图像提示适配器。所提出的适配器仍然简单小巧，但优于以前的适配器方法，甚至可以与微调模型相媲美。

方法

预备知识

        扩散模型是一类生成模型，由两个过程组成：扩散过程（也称为正向过程），它使用固定的马尔可夫 T 步链逐渐将高斯噪声添加到数据中，以及去噪过程，该过程使用可学习模型从高斯噪声生成样本。扩散模型还可以基于其他输入进行调节，例如文本到图像扩散模型中的文本。通常，预测噪声的扩散模型的训练目标（表示为 ε）被定义为变分边界的简化变体：

        其中 x表示带有附加条件 c 的真实数据，t ∈ [0， T ] 表示扩散过程的时间步长，x= αx+ σε 是 t 步的噪声数据，α，σ 是确定扩散过程的 t 预定义函数。一旦模型ε被训练，就可以以迭代的方式从随机噪声中生成图像。通常，在推理阶段采用DDIM [21]、PNDM [36]和DPM-Solver[37,38]等快速采样器来加速生成过程。 

        对于条件扩散模型，分类器引导[ 23]是一种简单的技术，用于通过利用来自单独训练的分类器的梯度来平衡图像保真度和样本多样性。消除培训的需要独立分类器、无分类器指导[39]通常被用作替代方法。在这种方法中，条件和无条件扩散模型是通过在训练过程中随机丢弃 c 来联合训练的。在采样阶段，根据条件模型ε（x， c， t）和非条件模型ε（x， t）的预测来计算预测噪声：

        在这里，W，通常称为指导刻度或指导权重，是一个标量值，用于调整与条件 C 的对齐方式。对于文本到图像扩散模型，无分类器引导在增强生成样本的图像-文本对齐方面起着至关重要的作用。

        在我们的研究中，我们利用开源 SD 模型作为示例基础模型来实现 IP 适配器。SD 是一种潜在扩散模型，以从冻结的 CLIP 文本编码器中提取的文本特征为条件。扩散模型的架构基于带有注意力层的UNet[40]。与 Imagen 等基于像素的扩散模型相比，SD 效率更高，因为它是在预训练的自动编码器模型的潜在空间上构建的。

图像提示适配器

        在大多数方法之后，我们使用预训练的 CLIP 图像编码器模型从图像提示中提取图像特征。CLIP 模型是一种多模态模型，通过对比学习在包含图像文本对的大型数据集上进行训练。我们利用 CLIP 图像编码器的全局图像嵌入，它与图像标题很好地对齐，可以表示图像的丰富内容和风格。在训练阶段，CLIP图像编码器被冻结。

        为了有效地分解全局图像嵌入，我们使用一个小型可训练投影网络将图像嵌入投影到长度为N的特征序列中（本研究使用N = 4），图像特征的维度与预训练扩散模型中文本特征的维度相同。我们在这项研究中使用的投影网络由线性层和层归一化组成[41]。

解耦的交叉注意力

        在这项工作中，我们提出了 IP-Adapter 来实现预训练文本到图像扩散模型的图像提示功能。我们的 IP 适配器的核心设计基于解耦的交叉注意力策略，该策略为图像特征整合了单独的交叉注意力层。定量和定性实验结果表明，我们的IP适配器只有22M参数，其性能与一些完全微调的图像提示模型和现有适配器相当，甚至更好。此外，我们的 IP 适配器只需经过一次训练，就可以直接与从同一基础模型和现有结构可控工具派生的自定义模型集成，从而扩大其适用性。更重要的是，图像提示可以与文本提示相结合，实现多模态图像生成。

        尽管我们的 IP 适配器很有效，但它只能生成在内容和样式上类似于参考图像的图像。换句话说，它不能像一些现有的方法那样合成与给定图像的主题高度一致的图像，例如Textual Inversion [ 51 ]和DreamBooth [52 ]。未来，我们的目标是开发更强大的图像提示适配器，以增强一致性。