多模态大模型调研BLIP、BLIP2、InstructBLIP

news2024/12/26 15:34:02

在这里插入图片描述

ITC:图像向量与文本向量对齐在同一特征空间
ITM:二分类任务。负样本构建:前方ITC分错的地方，在对比学习的基础上，更细粒度的对其特征。
LM:GPT的生成任务，将文本重新进行预测。

BLIP另一个贡献在于弱监督图文数据清洗方面，通过训练模型剔除了图文匹配度差以及对部分图文生成了更好的文本标注。

BLIP2
分两个阶段进行操作，首先是训练表征学习器。

在这里插入图片描述
Q-Former：桥梁，要训练的参数，将表征向量与文本向量进行对齐。

Learned Queries：可以学习的矩阵，不是我们输入的。
三个任务:
对比学习:更细粒度的分类
图文匹配:使用来自对比学习的负样本
图文生成:图像生成decoder。

图文匹配注意力:不存在遮挡，图片能看到文本，文本能看到图片。
文本生成任务注意力:存在遮挡
对比学习注意力:文本看不到图像，图像看不到文本。

在这里插入图片描述
BLIP2:微调Q-Former即可。

在这里插入图片描述

国产
在这里插入图片描述

BLIP2 ＋SAＭ
在这里插入图片描述

InstructBLIP：可以处理更复杂的视觉处理。
在这里插入图片描述

这张图片展示了不同任务（Tasks）下的Instruction Templates（指令模板）。这些任务包括Image Captioning（图像描述）、VQA（视觉问答），以及VQG（视觉问题生成）。表格中给出了每个任务对应的指令模板，用来生成或指导大模型执行特定任务。下面是每个部分的详细解释：

1. Image Captioning（图像描述）

任务：给定一幅图像，模型生成该图像的文字描述。

指令模板中提供了许多变体，都是在要求模型描述图像内容。模板使用了类似的短语，包括：
- “A short image caption:”（简短的图片标题）
- “Provide a description of what is presented in the photo.”（描述图片中展示的内容）
- “Please provide a short depiction of the picture.”（请简短描述图片）
- “Use a few words to illustrate what is happening in the picture.”（用几句话描述图片中发生的事情）

这些指令引导模型生成图像的简要描述，主要任务是让模型理解图片的内容并生成相关文本。

2. VQA (Visual Question Answering, 视觉问答)

任务：给定一幅图像和一个问题，模型需要基于图像回答问题。

指令模板使用了各种方法来呈现问题，例如：
- “ {Question}”（图片加问题）
- “Q: {Question} A:”（问题与回答）
- “Given the image, answer the following question with no more than three words: {Question}”（给定图像，使用不超过三个词语回答下列问题）
- “What is the answer to the following question? {Question}”（问题的答案是什么？）

这些模板要求模型基于图像信息回答所提出的问题，且有时会限制回答的字数。

3. VQG (Visual Question Generation, 视觉问题生成)

任务：给定一幅图像和一个答案，模型需要基于图像生成相应的问题。

指令模板引导模型生成问题，指令中通常包含答案提示：
- “Given the image, generate a question whose answer is: {Answer}. Question:”（给定图片，生成答案为{Answer}的问题）
- “Based on the image, provide a question with the answer: {Answer}.”（基于图片，生成答案为{Answer}的问题）
- “Taking the image into account, generate a question that has the answer: {Answer}.”（基于图片，生成答案为{Answer}的问题）

这些模板指引模型生成与图片相关的、能得到指定答案的问题，目的是测试模型生成合适问题的能力。