文章目录
- 前言
- 一、多模态大模型的forward方法(llava)
-
- 1、位置
- 2、源码
- 3、模型输入
- 3、图像编码与文本格式输入
- 4、大语言模型
- 5、计算loss
- 6、重点内容提示
- 二、prepare_inputs_labels_for_multimodal关键函数解读
-
- 1、视觉编码
- 2、input_ids循环遍历处理
- 3、寻找图像位置token-batch循环
- 4、使用while image_token_indices.numel() > 0循环
- 5、input_ids与labels嵌入-batch循环
-
- 1、模型源码
- 2、cur_new_input_embeds列表循环内容添加
- 3、cur_new_labels循环内容添加与cur_labels截断处理
- 3、cur_input_ids截断处理
- 4、image_token_indices重新获得
- 6、cur_new_input_embeds与cur_new_labels添加尾部内容-batch循环
- 7、cur_new_input_embeds与cur_new_labels列表进行cat
- 8、cur_new_input_embeds与cur_new_labels的批量组装
- 9、attention_mask加工
- 10、图示prepare_inputs_labels_for_multimodal加工内容
前言
多模态大模型forward源码解读，我也是基于llava模型作为示例来解读。本篇文章主要贡献已知的input_ids与labels如何嵌入图像特征，获得新的input_ids与labels及attention_mask内容，再将其输入大语言模型方法内容，这也就是视觉模型特征如何嵌入语言模型特征的方法。那么，经过此文章你能知道视觉模型与语言模型如何运作以及对应数据如何运行与变化内容。
一、多模态大模型的forward方法(llava)
1、位置
2、源码
这里就是多模态大模型llava进行forward的函数源码，如下：
def forward(
self,
input_ids: torch.LongTensor = None
