1.introduction

基于GAN和扩散模型，通过融入多模态引导来调节生成过程，从不同的多模态信号中合成图像；是为多模态图像合成和编辑使用预训练模型，通过在GAN潜在空间中进行反演，应用引导函数，或调整扩散模型的潜在空间和嵌入。

2.modality foundations

每一种信息源或形式都可以成为模态。

2.1 visual guidance

视觉引导将特定图像属性编码在像素空间中，提供控制。视觉引导编码在2d像素空间中表示为特定类型的图像，因此可以通过多种图像编码策略直接进行编码，由于编码后的特征在空间上与图像特征对齐，可以使用拼接，spade，cross-attention等方式，webui中的图生图，通过autoencoderKL产生init_latent，文本通常会通过cross-attention融合模型，但输入的图像不会。

2.2 Text guidance