论文大意
BLIP2 结合 Stable Diffusion，实现 主题驱动的图像生成与编辑。
分为两个阶段：
1.BLIP2 的multimodal encoder 输出与 text对齐的 visual representation；
2.上述生成的 特征 与 text embedding 共同引导 Stable Diffusion 的生成。
优点：
1.几乎不用 fine-tune
2.生成图像所需的step数很少
3.zero-shot生成
4.可以与 controlnet 或 prompt-to-prompt 结合起来完成特定任务。
摘要
BLIP-Diffusion 可以完成 主题驱动的 多模态控制。
怎么体现出来这个 多模态控制的呢？
1.用 BLIP2里面的 multimodal control 输出 visual representation；
2.设计 subject representation learning task 使得 SD使用这个 visual... 来生成 new subject renditions.
比之前方法的优点：
1.zero-shot subject-driven generation；
2.有效的 fine-tune 使得速度提升了20倍；
3.可以结合 ControlNet 或 prompt-to-prompt 来完成特定的任务。
引言
之前的 subject-driven generation，通过把 subject visual 嵌入 text embedding space。缺点是对于每个新的subject，需要上百次fine-tune 步骤。
multimodal control 的定义：
use both images and texts as control input（同时用 图像和文本 作为控制的输入）
模型使用 BLIP2的 vision-language encoder 和 LDM
BLIP2的encoder：使用 subject image 和 category text 作为输入，产生 text-aligned 主题表示，再把这个嵌入到 prompt embedding 引导 SD 的生成。
提出两阶段预训练策略：
1.multimodal representation learning：
使得 BLIP2 基于输入的图像产生 text-aligned visual features。（输入：合成图像、类标签；输出：multimodal embedding 作为 subject representation）
2.subject representation learning task
SD模型基于 输入的visual features产生 novel subject renditions。（上个阶段产生的 subject representation 和 text prompt 结合 来引导生成 target image）
数据集：
出现在不同上下文的 input-target image pairs
论文效果：
1.zero-shot生成，出色的fine-tune 策略；
2.只用了 40-120步就完成了对于特定 subject 的采样，相比于 DreamBooth加速了20倍。
3.继承LDM的能力，无需fine-tune就可以支持各种主题的生成应用。
方法
3.1 使用BLIP2进行多模态表征学习
BLIP2包含两个模块：
①a frozen pre-trained image encoder，提取图像特征
②a multimodal encoder (Q-Former)，目的为 图像文本对齐
（注：这里采用 一半的query tokens，输出16个特征）
BLIP2的三个目标函数
ITC, ITG, ITM
3.2 使用SD进行 主题表征学习
两个期待：
1. subject representation 可以很好的结合 text prompt；
2. 保留 扩散模型的能力。
模型架构
如上图所示，把 BLIP2的 multimodal encoer 和 SD的 Text encoder 连接起来。
[subject prompt]：multimodal encoder 输出的 subject visual representation，然后再通过 a feed-forward layer；
[text prompt]
上述两个 text 一同输入到 CLIP text encoder中，引导扩散模型的生成。
prompted context generation
数据集（input-target image pairs），使用合成图像作为输入，真实图像作为 扩散模型的输出。
给定包含主题的图像和文本，然后通过 CLIPSeg进行分割，置信度高的部分作为前景，低的部分作为不确定区域，其余部分作为背景。然后这三个部分组成 trimap。然后通过 alpha 混合将提取的主题合成到随机背景图像上。
3.3 微调 和 可控推理
Subject-specific Fine-tuning and Inference
以 text prompt embedding 和 mean subject embedding 为条件，以输出图像为target image，对扩散模型进行 fine-tune。
使用 ControlNet 进行结构控制
通过 残差连接 把 UNet 和 ControlNet 连接起来。
？？？
使用 Attention Control 来编辑主题驱动
4 实验
4.1 预训练数据集 和 细节
多模态表征学习
使用 BLIP-2 在 129M个图像文本对下面预训练，其中包含...
使用 BERT来初始化为 Q-Former
主题表征学习
来自 OpenImage-V6 的292K个图像的子集，移除了人类相关的主题。
从网站上获得了 59K个背景图像 来合成输入。
使用 SDv1.5 来作为扩散模型。
batch-size：6，学习率：2e-6, 500K steps，优化器：AdamW
在 16张A100 上面跑了6天。
4.2 实验结果
（1）zero-shot生成
（2）高效微调
（3）结构控制
（4）图像编辑
（5） 风格迁移
（6）主题插值
（7）定性比较
与 TextInversion、DreamBooth、InstructPix2Pix
消融实验
1.conduct multimodal representation learning
2.freezing text encoder of DM
3.giving subject text to the multimodal encoder
4.随机主题嵌入下降的预训练有助于更好地保持扩散模型的生成能力，从而有利于结果。我们进一步论证了主体表征学习的效果。
6 Conclusion
1.提出 BLIP-Diffusion，可以完成多模态控制的主题驱动的图像生成；
2.两个阶段的预训练策略；
3.可以和其他的模型连接起来完成更丰富的功能；
4.效果很好，zero-shot能力，以及相比于其他有20倍的加速。
自我感悟：
提供了 多模态控制 图像生成的一种方法。但是感觉过程比较麻烦，又训练这个又训练那个。
它可以结合controlnet、P2P。觉得这个想法还挺好的。
还要再理解的地方：
1.与其他模型的连接；
2.自己模型的训练；
3.代码
