【多模态】ALBEF-融合前对齐

news2024/10/2 14:27:59

 

目录

 🍁🍁背景

🌷🌷网络结构

🎅🎅损失函数

🌼🌼动量蒸馏

🌺🌺下游任务结果

📒📒Grad-CAM 特征可视化

🚦🚦代码

🎨1.预训练customdata

🎨2.图文检索

🎨3.VQA

🎨4.VE

🎨5.vg

🎨6.NLVR2

整理不易，欢迎一键三连！！！

出处：跟BLIP一样salesforce，同一个单位，准确来讲，先有ALBEF（2021），再有BLIP（2022）。

代码地址：code

论文地址：paper

官方博客：blog

 🍁🍁背景

        限制1：以  CLIP  和 code 为代表的方法学习单峰图像编码器和文本编码器，并在表示学习任务上取得了令人印象深刻的性能。然而，它们缺乏对图像和文本之间复杂交互进行建模的能力，因此它们不擅长需要细粒度图像文本理解的任务。

限制2：UNITER[4]代表的方法采用多模态编码器对图像和文本进行联合建模。然而，多模态转换器的输入包含未对齐的基于区域的图像特征和单词标记嵌入。由于视觉特征和文本特征驻留在各自的空间中，因此多模态编码器学习对它们的交互进行建模具有挑战性。此外，大多数方法使用预先训练的目标检测器进行图像特征提取，这既昂贵又计算昂贵。

        限制 3：用于预训练的数据集主要由从网络收集的噪声图像文本对组成。广泛使用的预训练目标，例如掩码语言模型（MLM），很容易过度拟合噪声文本，从而损害表示学习。

        为了解决这些限制，我们提出了 ALign BEfore Fuse ( ALBEF )

🌷🌷网络结构

        ALBEF 包含图像编码器（ViT-B/16）、文本编码器（BERT 的前 6 层）和多模态编码器（BERT 的后 6 层，带有额外的交叉注意力层）。我们通过联合优化以下三个目标来预训练 ALBEF：

        目标 1：图像-文本对比学习应用于单流图像编码器和文本编码器。它将图像特征和文本特征对齐，并训练单模态编码器以更好地理解图像和文本的语义。

        目标2：应用于多模态编码器的图像文本匹配，预测一对图像和文本是正（匹配）还是负（不匹配）。我们提出了对比硬负例挖掘，它选择具有更高对比相似性的信息负例。

        目标 3：应用于多模态编码器的掩码语言建模。我们随机屏蔽文本标记，并训练模型使用图像和屏蔽文本来预测它们。

🎅​​​​​​​🎅损失函数

        损失函数也就由3部分组成：

  • ITC（image-text contrastive loss）：图像-文本对比损失
  • ITM（image-text matching）：图像-文本匹配损失
  • MLM（masked language modeling）：掩码语言模型损失

  

   

🌼🌼动量蒸馏

        本文的另外一个 创新点就是动量蒸馏，从网络收集的图像文本对通常是弱相关的：文本可能包含与图像无关的单词，或者图像可能包含文本中未描述的实体。为了从噪声数据中学习，我们提出了动量蒸馏，其中我们使用动量模型来生成图像文本对比学习和掩蔽语言建模的伪目标。下图显示了图像的伪正文本示例，它产生了“年轻女子”和“树”等新概念。我们还从互信息最大化的角度提供了理论解释，表明动量蒸馏可以解释为为每个图像-文本对生成视图。

        简单理解动量蒸馏就是通过动量更新得到伪label的过程，因为在图文对比的时候，可能会有一些负样本的pair对也存在一定的相关性，而掩码建模的任务中，可能也会存在更好的描述来代替mask掉的文本。这里动量蒸馏的意思是用动量模型的结果来在一定程度上修正gt，而动量模型的概念来自于Moco。

🌺🌺下游任务结果

零样本图文检索结果

视觉问答 (VQA)、自然语言视觉理解 (NLVR) 和视觉蕴含 (SNLI-VE) 的结果 

 

📒📒Grad-CAM 特征可视化

        我们发现 ALBEF 隐式地学习了对象、属性和关系的准确基础，尽管没有接受任何边界框注释的训练。我们使用 Grad-CAM 来探测多模态编码器的交叉注意力图，并在弱监督视觉基础任务上取得了最先进的结果。下图显示了一些可视化示例。

  

  

 

🚦🚦代码

🎨1.预训练customdata

python -m torch.distributed.launch --nproc_per_node=8 --use_env Pretrain.py --config ./configs/Pretrain.yaml --output_dir output/Pretrain

🎨2.图文检索

#Image-Text Retrieval:
#Download MSCOCO or Flickr30k datasets from the original websites.
#Download and extract the provided dataset json files.
#In configs/Retrieval_coco.yaml or configs/Retrieval_flickr.yaml, set the paths for the #json files and the image path.
#Finetune the pre-trained checkpoint using 8 A100 GPUs:
python -m torch.distributed.launch --nproc_per_node=8 --use_env Retrieval.py \
--config ./configs/Retrieval_flickr.yaml \
--output_dir output/Retrieval_flickr \
--checkpoint [Pretrained checkpoint]

🎨3.VQA

#VQA:
#Download VQA v2 dataset and Visual Genome dataset from the original websites.
#Download and extract the provided dataset json files.
#In configs/VQA.yaml, set the paths for the json files and the image paths.
#Finetune the pre-trained checkpoint using 8 A100 GPUs:
python -m torch.distributed.launch --nproc_per_node=8 --use_env VQA.py \
--config ./configs/VQA.yaml \
--output_dir output/vqa \
--checkpoint [Pretrained checkpoint]

🎨4.VE

#Visual Entailment:
#Download SNLI-VE dataset from the original website.
#Download and extract the provided dataset json files.
#In configs/VE.yaml, set the paths for the json files and the image path.
#Finetune the pre-trained checkpoint using 8 A100 GPUs:
python -m torch.distributed.launch --nproc_per_node=8 --use_env VE.py \
--config ./configs/VE.yaml \
--output_dir output/VE \
--checkpoint [Pretrained checkpoint]

🎨5.vg

#Visual Grounding on RefCOCO+:
#Download MSCOCO dataset from the original website.
#Download and extract the provided dataset json files.
#In configs/Grounding.yaml, set the paths for the json files and the image path.
#Finetune the pre-trained checkpoint using 8 A100 GPUs:
python -m torch.distributed.launch --nproc_per_node=8 --use_env Grounding.py \
--config ./configs/Grounding.yaml \
--output_dir output/RefCOCO \
--gradcam_mode itm \ 
--block_num 8 \
--checkpoint [Pretrained checkpoint]

🎨6.NLVR2

#预训练

python -m torch.distributed.launch --nproc_per_node=8 --use_env Pretrain_nlvr.py \
--config ./configs/NLVR_pretrain.yaml \
--output_dir output/NLVR_pretrain \
--checkpoint [Pretrained checkpoint]


#训练

python -m torch.distributed.launch --nproc_per_node=8 --use_env NLVR.py \
--config ./configs/NLVR.yaml \
--output_dir output/NLVR \
--checkpoint [TA pretrained checkpoint]

整理不易，欢迎一键三连！！！

送你们一条美丽的--分割线--

🌷🌷🍀🍀🌾🌾🍓🍓🍂🍂🙋🙋🐸🐸🙋🙋💖💖🍌🍌🔔🔔🍉🍉🍭🍭🍋🍋🍇🍇🏆🏆📸📸⛵⛵⭐⭐🍎🍎👍👍🌷🌷

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/836285.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

快速文件传输常见问题

快速文件传输常见问题

我们所处的世界充斥着各种信息，能够迅速获得正确的数据往往是企业成功的关键因素。将文件从A点移动到B点需要考虑很多问题，但是当涉及需要在最短时间内送达全球各地收件人的大型关键任务文件时，就不能再使用Dropbox和 Google Drive 等方案了。…
阅读更多...
flutter：二维码生成与读取

flutter：二维码生成与读取

前言 这csdn真的是服了，图片里有个二维码就直接变成违规图片了。至于效果的话，自己运行一下看看吧。 生成 flutter中生成二维码可以使用 qr_flutter。 官方文档 https://pub-web.flutter-io.cn/packages/qr_flutter 安装 flutter pub add qr_flutt…
阅读更多...
Dockerfile构建mysql

Dockerfile构建mysql

使用dockerfile构建mysql详细教学加案例 Dockerfile 文件 # 使用官方5.6版本，latest为默认版本 FROM mysql:5.6 #复制my.cof至容器内 ADD my.cnf /etc/mysql/my.cof #设置环境变量 密码 ENV MYSQL_ROOT_PASSWORD123456my.cof 文件 [mysqld] character-set-server…
阅读更多...
【chrome扩展开发】vue-i18n使用问题及解决方案

【chrome扩展开发】vue-i18n使用问题及解决方案

记录chrome扩展开发时调用vue-i18n的一些问题和解决方法 环境 vue: ^3.3.4vue-i18n: ^9.2.2vite: ^4.4.8 错误1 Uncaught (in promise) EvalError: Refused to evaluate a string as JavaScript because unsafe-eval is not an allowed source of script in the following Con…
阅读更多...
07 Ubuntu中使用poetry工具管理python环境——巨详细！！！

07 Ubuntu中使用poetry工具管理python环境——巨详细！！！

由于conda和ros2的环境实在太容易冲突了。我真的不敢再使用conda，着实是有些搞不明白这解释器之间的关系。 conda的卸载和ros2的安装暂不赘述，下面着重来说如何在Ubuntu中使用poetry进行包管理及遇到的问题。 1 安装poetry 由于在有写入权限的限制&am…
阅读更多...
uniapp 返回上一页并刷新

uniapp 返回上一页并刷新

如要刷新的是mine页面 在/pages/mine/improveInfo页面修改信息，点击保存后跳转到个人中心（/pages/mine/index）页面并刷新更新数据 点击保存按钮时执行以下代码： wx.switchTab({url: /pages/mine/index }) // 页面重载 let pages …
阅读更多...
JConsole-的使用

JConsole-的使用

文章目录 一、简介二、使用2.1 启动 JConsole2.2 连接到 Java 进程2.2.1 本地连接2.2.2 远程连接 2.3 监控 JVM 资源 一、简介 JConsole 是一种 Java 监控和管理控制台工具，可以用于监视 Java 虚拟机（JVM）的性能和资源利用情况。它提供了一种…
阅读更多...
汉字姓名转拼音

汉字姓名转拼音

import osimport pandas as pdfrom xpinyin import Pinyindownpath/Users/Kangyongqing/Downloads/ file1教师姓名转拼音.xlsxdtpd.read_excel(downpathfile1) print(dt.info()) dt[pinyin]dt[教师姓名].apply(lambda x:Pinyin().get_pinyin(x).split(-)[0].capitalize() .join…
阅读更多...
antd select multiple模式 Dropdown onClick 失效

antd select multiple模式 Dropdown onClick 失效

背景：当 Ant Design 的下拉菜单（Dropdown）在默认情况下从下方弹出，在某些情况下可能会因为页面空间不足而自动切换到上方弹出。这种位置变动可能导致点击事件无法触发。 复现描述：当输入搜索时，option会筛…
阅读更多...
几乎与人类无异，机器人手通过触摸感知物体

几乎与人类无异，机器人手通过触摸感知物体

原创 | 文 BFT机器人 人类即使在看不清物体的情况下也能够毫不费力的感知抓取物体，受到这一启发，加州大学圣迭戈分校工程师领导的研究小组开发出了一种新方法，使机械手能够不依赖视觉，仅通过触摸就能感知旋转物体。 利用他们的技…
阅读更多...
什么是OCR？OCR技术详解

什么是OCR？OCR技术详解

光学字符识别(Optical Character Recognition)简称为“OCR”。ORC是指对包含文本资料的图像文件进行分析识别处理，获取文字及版面信息的技术。 一般包括以下几个过程： 1.图像输入 针对不同格式的图像，有着不同的存储格式和压缩方式。目前&…
阅读更多...
HTML，url，unicode编码

HTML，url，unicode编码

目录标题 HTML实体编码urlcode编码unicode编码小结基础例题高级例题 HTML实体编码 实体表示&#xff1a; 以&符号开始&#xff0c;后面跟着一个预定义的实体的名称&#xff0c;或是一个#符号以及字符的十进制数字。 例&#xff1a; <p>hello</p> <!-- 等同…
阅读更多...
【Python】PySpark 数据计算 ⑤ ( RDD#sortBy方法 - 排序 RDD 中的元素 )

【Python】PySpark 数据计算 ⑤ ( RDD#sortBy方法 - 排序 RDD 中的元素 )

文章目录 一、RDD#sortBy 方法1、RDD#sortBy 语法简介2、RDD#sortBy 传入的函数参数分析 二、代码示例 - RDD#sortBy 示例1、需求分析2、代码示例3、执行结果 一、RDD#sortBy 方法 1、RDD#sortBy 语法简介 RDD#sortBy 方法 用于 按照 指定的 键 对 RDD 中的元素进行排序 , 该方…
阅读更多...
pp-ocr报错记录

pp-ocr报错记录

RESER 报错&#xff1a; distutils.errors.DistutilsError: Could not find suitable distribution for Requirement.parse(‘tomli>1.0.0’) 解决办法&#xff1a; 参考&#xff1a;https://stackoverflow.com/questions/67603407/distutilserror-could-not-find-suitable…
阅读更多...
golang函数传参——值传递理解

golang函数传参——值传递理解

做了五年的go开发&#xff0c;却并没有什么成长&#xff0c;都停留在了业务层面了。一直以为golang中函数传参&#xff0c;如果传的是引用类型&#xff0c;则是以引用传递&#xff0c;造成这样的误解&#xff0c;实在也不能怪我。我们来看一个例子&#xff0c;众所周知&#xf…
阅读更多...
享元模式 Flyweight Pattern 《游戏编程模式》学习笔记

享元模式 Flyweight Pattern 《游戏编程模式》学习笔记

如果我们要存储一个树一样的数据结构&#xff0c;直觉来说我们会这么写 但是实际上我们会发现&#xff0c;哪怕森林里有千千万万的树&#xff0c;它们大多数长得一模一样。 它们使用了相同的网格和纹理。 这意味着这些树的实例的大部分字段是一样的。 那么我们就可以将树共…
阅读更多...
C语言自定义类型 — 结构体、位段、枚举、联合

C语言自定义类型 — 结构体、位段、枚举、联合

前言 本期主要对通讯录三篇博客文章进行补充 通讯录文章&#xff1a;通讯录系列文章 对结构体进行详细介绍&#xff0c;其次讲解位段、枚举、联合体 文章目录 前言一、结构体1.什么是结构体2.结构声明2.1 声明格式2.2 如何声明&#xff08;代码演示&#xff09; 3.特殊声明3.1…
阅读更多...
css word-break

css word-break

上面的一行还是可以放置很多个字符的&#xff0c;但是就是换行了。 要求填充满整行&#xff0c;超过在换行 加上word-break:break-all;就行
阅读更多...
每日汇评：由于美国就业数据强劲，黄金可能恢复下行趋势

每日汇评：由于美国就业数据强劲，黄金可能恢复下行趋势

1、美国非农就业数据公布前&#xff0c;金价试图从三周低点反弹&#xff1b; 2、美国经济数据喜忧参半&#xff0c;推动美元和美债收益率回落&#xff1b; 3、金价上行空间有限&#xff0c;因日技术面走势偏空&#xff1b; 金价又将下跌一周&#xff0c;周五有望创下六周以来…
阅读更多...
浅谈小区电动汽车充电桩管理系统设计及应用

浅谈小区电动汽车充电桩管理系统设计及应用

安科瑞 华楠 摘要&#xff1a;提出了针对数量众的充电桩计算充电负荷时所需需要系数的一种替代方法&#xff0c;阐述了二者适用背景的相似性&#xff0c;并针对其可行性进行了相关论述。数發众的新能源汽车在相对集中的时间充电&#xff08;尤其是与居民用电高峰重的惰况下&…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023