(2023)基于多模态概率融合提示的少样本多模态情感分析

news2024/11/25 16:35:42

论文题目(Title):Few-shot Multimodal Sentiment Analysis based on Multimodal Probabilistic Fusion Prompts

研究问题(Question):用概率融合提示进行少样本的情感分析任务

研究动机(Motivation):目前的多模态情感分析研究依赖于大规模的监督数据。整理有监督的数据既费时又费力。因此,研究少镜头多模态情感分析问题是十分必要的。

以前的工作在少镜头模型中一般使用语言模型提示,这可以提高在低资源设置中的性能。但是,文本提示符忽略了来自其他情态的信息。

然而,由于图像编码器是语言不可知的,直接将图像表示形式输入到语言模型中必须面对不同形式之间的差异问题。且不同的提示包含不同数量的信息,单一提示所传达的信息是不够的。

主要贡献(Contribution):

1. 为FMSA任务提出了一种新的多模态概率融合提示(多点)模型;

2. 设计了统一的多模态提示来减少不同模态提示的差异,并设计了概率融合方法来聚合多个多模态提示的预测,以提高模型的鲁棒性。

研究思路(Idea):

提出了多模态概率融合提示,为多模态情感检测提供多种线索。

首先设计了一个统一的多模态提示符,以减少不同模态提示符之间的差异。为了提高模型的鲁棒性,利用每个输入的多个不同提示,并提出了一种概率方法来融合输出预测。进行了大量实验,在三个数据集上证实了方法的有效性。

研究方法(Method):首先为任务设计多模式提示符。

对于文本模式,利用自动生成模板来获得多个有效的文本提示。

对于图像模态,首先生成每个图像的文本描述,并将其编码为文本提示,以提高图像和文本提示的兼容性。

提出了一种新的概率融合方法来融合来自多模态提示的多个预测。

研究过程(Process):

        1.数据集(Dataset)

        2.评估指标(Evaluation):Acc,F1

        3.实验结果(Result)

 

消融实验:

 

总结(Conclusion):作者为FMSA任务提出了一种新的多模态概率融合提示模型。为了减少不同模式提示的差异,设计了由图像描述提示和文本提示组成的统一的多模式提示。进一步利用概率融合模块来融合来自不同多模态提示的多个预测。在FMSA任务中的三个数据集上演示了模型的有效性。在未来的工作中,将为FMSA设计更有效的提示符。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/424213.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

IDEA插件-Lombok

在 Java 开发领域中,Lombok 插件已经成为一个非常流行的代码库。该插件让 Java 开发更加便捷、高效,因此提高了开发者的生产力。本文将对 Lombok 插件进行详细的介绍和分析。 1.Lombok是什么 Lombok 是一款 Java 开发工具,它可以通过注解来…

《离散数学导学》精炼——第8章(关系)

学无止境追求真,勤奋刻苦起点新。每日精进千里路,成功不是梦想闲。 文章目录引言正文第八章 关系定义定义域,值域关系的逆关系上的运算(重点)关系的合成同类关系和异类关系关系的性质(重难点)顺…

OpenAI-ChatGPT最新官方接口《嵌入向量式文本转换》全网最详细中英文实用指南和教程,助你零基础快速轻松掌握全新技术(五)(附源码)

Embeddings 嵌入向量式文本转换前言Overview 概述What are embeddings? 什么是嵌入?How to get embeddings 如何获取嵌入python代码示例cURL代码示例Embedding models 嵌入模型Second-generation models 第二代模型First-generation models (not recommended) 第一…

Kubernetes 多集群管理工具Rancher 使用介绍

目录 一、Rancher 简介 2.1 Run Kubernetes Everywhere 2.2 满足 IT 需求规范 2.3 赋能 DevOps 开发团队 2.4 Rancher API Server 的功能 2.4.1授权和角色权限控制 2.4.2使用 Kubernetes 的功能 2.4.3 配置云端基础信息 2.4.4 查看集群信息 2.5 编辑下游集群 二、Ra…

漏洞挖掘-漏洞扫描

一、工具 1.针对某种漏洞 (1)sqlmap python sqlmap.py -u "url" --dbs 枚举所有数据库 python sqlmap.py -u "url" --current -db 当前数据库 python sqlmap.py -u "url" -D db_name --tables …

如何做一个园区的导航地图?园区楼宇地图导航如何实现?

如何做一个园区的导航地图?电子地图已成为智慧园区应用的重要组成部分和刚需,基于地图一方面为来园区人员进行导引,同时为园区内部的可视化设备设施、停车引导、物联数据的展示、园区物业资产管理等提供高效的管理工具,融入电子地…

数据可视化有哪些方式?【图表类型大全】

我们通常所说的数据可视化是指狭义的数据可视化,即将数据以图表的方式进行呈现,常见于PPT、报表、新闻等场景。图表是数据可视化最基础的应用,它代表图形化的数据,通常以所用的图形符号命名,例如使用圆形符号的饼图、使…

让你的作品更出色——词云Word Cloud的制作方法(基于python,WordCloud,stylecloud)

让你的作品更出色—— 词云Word Cloud的制作方法(基于python) 本文目录: 一、词云的简介 二、 实现原理和流程 1、制作词云流程图 2、词云实现原理 三、 实现词云的方式 1、安装词云相关模块库 2、WordCloud库 3、stylecloud库 四、总结 一、词…

Point-to Analysis指针分析(1)

Point-to Analysis指针分析(1)_音程的博客-CSDN博客 前言 指针分析是一个非常复杂的工作,这些工作很多方向,比如是否是上下文敏感分析或上下文不敏感分析,显然,这难易度是不一样地。比如下图。对于同一段…

SAP之Suse For SAP 12 sp5安装教程(超详细)

本文将详细介绍如何在VM环境下安装Suse For SAP 12 sp5。 关于VM创建Suse Linux虚拟机的教程参考另一个博客-SAP之VM创建SUSE虚拟机。本文建立在VM已经创建好了Suse虚拟机的前提下。 一、首先进入到安装界面,选择“Installation”,按“Enter” 二、勾选…

第七章 无线与移动网络

无线网络 无线网络基本结构 无线主机;运行端系统设备无线链路;通过无线通信链路连接到一个基站或者另一条无线主机基站;无线网络基础设施的一个关键部分,负责向与之关联的无线主机发送数据和接收主机发送的数据网络基础设施&…

ROS使用(9)tf2

许多tf2教程可用于C和Python。本教程经过了精简,以完成C或Python。如果你想同时学习C和Python,你应该分别学习一次C和一次Python的教程。 工作区设置 Introduction to tf2.tf2的 介绍 本教程将给予你一个很好的想法tf2可以为你做什么。 它在一个使用tur…

自学大数据第十天~Hbase

随着数据量的增多,数据的类型也不像原来那样都是结构化数据,还有非结构化数据; Hbase时google 的bigtable的开源实现, BigtableHbase文件存储系统GFSHDFS海量数据处理MRMR协同管理服务chubbyzookeeper虽然有了HDFS和MR,但是对于数据的实时处理是比较困难的,没有办法应对数据的爆…

实现3D动画

一、transform Transform是形变的意思(通常也叫变换),transformer就是变形金刚 常见的函数transform function有: 平移:translate(x, y) 缩放:scale(x, y) 旋转:rotate(deg) 倾斜:sk…

病毒丨3601lpk劫持病毒分析

作者:黑蛋 一、病毒简介 文件名称: 1f3e836b4677a6df2c2d34d3c6413df2c5e448b5bc1d5702f2a96a7f6ca0d7fb 文件类型(Magic): PE32 executable (GUI) Intel 80386, for MS Windows 文件大小: 52.50KB SHA256: 1f3e836b4…

面试字节,三面HR天坑,想不到自己也会阴沟里翻船....

阎王易见,小鬼难缠。我一直相信这个世界上好人居多,但是也没想到自己也会在阴沟里翻船。我感觉自己被字节跳动的HR坑了。 在这里,我只想告诫大家,offer一定要拿到自己的手里才是真的,口头offer都是不牢靠的&#xff0…

可实现电控调光、宽视场角,FlexEnable曲面液晶解析

曲面显示屏、可变焦液晶透镜,这些似乎是属于未来AR/VR的趋势,而实际上已经有公司在提供此类技术,而这将有望对AR/VR产生重要影响。AR/VR光学专家Karl Guttag指出,其在CES 2023看到了一家专注于柔性显示、传感器的有机电子公司&…

传统机器学习(五)—分类、回归模型的常见评估指标

传统机器学习—分类、回归模型的常见评估指标 一、分类模型的常见评估指标 1.1 混淆矩阵 混淆矩阵,在无监督学习中被称为匹配矩阵(matching matrix),之所以叫混淆矩阵,是因为我们能够很容易从图表中看到分类器有没有将样本的类别给混淆了。…

E4--光纤接口通信测试应用2023-04-17

1.场景 使用两块开发板A和B,通过光纤接口将在A板上ROM中存储的图片数据转发到B板并显示在B板连接的显示屏上,实现光纤接口通信。 具体场景是,由于A735T片上资源有限,因此ROM IP存储了一张1024*600(LVDS屏幕&#xff0…

【Linux】调试器---gdb的使用

文章目录一.背景知识二.安装gdb三.gdb的用法使用须知gdb的常用指令1.进入调试2.退出调试操作3.显示源代码4.设置断点breakPoint5.查看断点信息/禁用断点/开启断点/删除断点6.运行程序,开始调试run7.查看变量8.其它重要命令一.背景知识 程序的发布方式有两种&#x…