效果

代码

https://github.com/Fantasy-Studio/Paint-by-Example

问题

之前图像编辑使用语言引导，作者研究使用example作为引导来进行图像编辑，直接融合（复制粘贴）会导致明显的融合伪影

利用生成先验：从预训练的文本到图像模型可以生成高质量的期望结果，但是需要人工微调会导致先验偏离

解决

通过自监督来解开并重新组织 原图像和样本，提出信息瓶颈和强大增强，为example设计了任意形状掩膜，并利用无分类器引导来增强与样本图像的相似度

为避免从输入图像中随机裁剪对象
信息瓶颈可以自参考条件，放弃空间tokens并将全局图像嵌入视为条件。来强制网络理解图像高级语义和原图像的上下文

不规则随机蒙版
其中无分类器指导有利于提高图像质量与参考风格相似度