Generative Prompt Model for Weakly Supervised Object Localization

中国科学院大学&&浙江大学CVPR2023

1.Abstract

当从图像类别标签中学习对象定位模型时，弱监督对象定位(WSOL)仍然具有挑战性，

传统的鉴别训练激活模型的方法忽略了具有代表性但鉴别性较差的对象部分。

作者提出了一个生成提示模型(GenPromp)，定义了第一个生成管道，通过将WSOL制定为条件图像去噪过程来定位不太区分的对象部分。在训练过程中，GenPromp将图像类别标签转换为可学习的提示嵌入，并将这些提示嵌入馈送到生成模型中，以有条件地恢复带有噪声的输入图像并学习代表性嵌入。

若监督定位WSOL
模型需要给出模型的类别，且提供对象的定位；

具体来说就是训练的时候，作者将label作为embedding的提示词作为生成模型的输入。

推理过程，模型将Repressentatice embedding和Discriminative embedding结合起来，提高 模型的判别能力；

2.Generative Prompt Model

模型分