使用 GPT-4V 全面评估泛化情绪识别 (GER)

news2024/11/23 23:02:02

概述

由于情绪在人机交互中扮演着重要角色,因此情绪识别备受研究人员关注。目前的情感识别研究主要集中在两个方面:一是识别刺激物引起的情感,并预测观众观看这些刺激物后的感受。另一个方面是分析图像和视频中的人类情绪。在本文中,这些任务统称为广义情感识别(GER)。

情绪可以通过文字、音频和视频等不同方式传达。其中,视觉信息(如色彩、亮度、面部表情、人类行为)包含丰富的情绪相关内容,在广义情绪识别任务中发挥着重要作用。为了提高视觉理解能力,研究人员提出了各种算法,并取得了显著进展。随着深度学习的发展,目前泛化情感识别的研究已从人工特征设计转向深度神经网络。

最近,GPT-4V 在各种任务中表现出了令人印象深刻的视觉理解能力。这就提出了一个问题:GPT-4V能在多大程度上解决泛化情绪识别问题?

2023 年 9 月,GPT-4V 被集成到 ChatGPT 中,并发布了调查其可视化功能的用户报告。然而,这些报告中每个任务的样本数量通常有限,只能提供有关 GPT-4V 的定性见解。openAI 于 2023 年 11 月发布了 API,最初仅限于每天 100 个请求。因此,GPT-4V 仍然难以与基准数据集的最先进系统进行对比评估。最近,OpenAI 增加了每日请求限制,以便进行更全面的评估。

本文提供了 GPT-4V 在通用情感识别任务中的定量评估结果,包括视觉情感分析、微表情识别、面部情感识别、动态面部情感识别和多模态情感识别。

下图显示了 GPT-4V 的总体结果,其性能优于随机猜测,但与监督系统相比仍有差距。为了揭示其中的原因,我们对 GPT-4V 的多方面性能进行了综合分析,包括其多模态融合能力、时间建模能力、色彩空间鲁棒性和预测一致性。

本文旨在为后续研究人员提供建议,并就 GPT-4V 能够有效解决哪些任务以及哪些任务需要进一步探索提出问题。

实验概述

本文对 19 个数据集的五项任务进行了综合评估。下表提供了每个数据集的统计数据。

下图显示了每个数据集的样本。其中既有在自然环境中收集的数据集(如 AffectNet),也有在受控实验室环境中收集的数据集(如 CASME 和 CK+);既有使用灰度图像的数据集(CK+),也有使用 RGB 图像的数据集(CASME 和 AffectNet)。AffectNet)以及其他各种数据集。

在五项任务中,第一项任务 "视觉情绪分析 "旨在识别图像引发的情绪。使用的四个数据集分别是 Twitter I、Twitter II、ArtPhoto 和 Abstract。Twitter I 和 Twitter II 收集自社交网站,Twitter I 的原始数据来自 Amazon Mechanical Turk 工作者;ArtPhoto 包含来自照片分享网站的艺术照片;Abstract 包含由同行评价的抽象画。这些数据集被重新分类为积极和消极两类,并报告了消极/积极分类任务的结果。

面部情绪识别使用了五个基准数据集:CK+、FERPlus、SFEW 2.0、RAF-DB 和 AffectNet;CK+ 和 FERPlus 包含灰度图像,SFEW 2.0、RAF-DB 和 AffectNet 包含 RGB 图像。CK+ 和 FERPlus 包含灰度图像。具体来说,CK+ 包含来自 123 个受试者的 593 个视频序列,每个序列的最后三帧被提取出来以构建数据集。

FERPlus 是 FER2013 的扩展,其中每个样本都由 10 位注释者重新标注;SFEW 2.0 从电影片段中提取关键帧,包括各种头部姿势、遮挡和照明;RAF-DB 包括数千个基本和复杂的面部表情样本。而 AffectNet 有 8 个标签,每个标签包含 500 个样本�

微表情识别也旨在识别人脸的细微变化。评估使用顶点框架并集中于关键情绪:CASME 包含 195 个样本,涉及 8 个类别,重点关注 4 个主要标签(紧张、厌恶、抑郁和惊讶);CASME II 包含从 26 名受试者中收集的 247 个样本,重点关注 5 个主要标签(快乐、惊讶、厌恶、抑郁和其他);SAMM 包含 159 个样本,评估仅限于 10 个标签中的一个(紧张、厌恶、抑郁和其他)。SAMM包含159个样本,评估仅限于10个或更多样本中的标签(愤怒、蔑视、快乐、惊喜、其他)。

动态面部情绪识别侧重于更具挑战性的图像序列。这项任务使用了四个基准数据集(FERV39k、RAVDESS、eNTERFACE05 和 DFEW)。前三个数据集采用官方的训练/验证/测试分割,并评估官方测试集上的性能;DFEW 有五个折叠,包含 11,697 个样本,只报告折叠 1 (fd1) 的结果,以降低评估成本。折叠 1 (fd1)�

此外,多模态情感识别旨在整合音频、视频和文本等不同模态来识别情感。这项任务使用了三个基准数据集(CH-SIMS、CMU-MOSI 和 MER-MULTI):CH-SIMS 和 CMU-MOSI 为每个样本提供情绪强度评分,评估集中在负面/正面分类任务上;MER-.MULTI 是 MER2023 数据集的子集,提供离散和维度标签。MULTI 是 MER2023 数据集的一个子集,为每个样本提供离散和维度标签。本文的重点是离散情绪识别性能。

GPT-4V 通话策略

本文评估了最新 GPT-4V 应用程序接口 gpt-4-vision-preview 的性能。广义情感识别任务涉及多种模式,包括图像、文本、视频和音频,但当前的 GPT-4V 版本存在局限性,仅支持图像和文本输入。要处理视频数据,需要对视频进行采样并转换成多幅图像。对于音频数据,有人尝试将其转换为熔谱图,但 GPT-4V 无法对这种输入做出适当的响应。因此,在本文中,我们将评估重点放在图像、文本和视频上,并提出了逐批调用策略和递归调用策略,以解决 API 请求的局限性,减少因安全检查而导致的拒绝情况。

当前的 GPT-4V API 有三个请求限制:每分钟令牌次数 (TPM)、每分钟请求次数 (RPM) 和每日请求次数 (RPD)。这就对提示设计提出了额外的要求。

为了解决 RPM 和 RPD 限制问题,根据以往的研究采用了批量输入的方法。也就是说,向 GPT-4V 输入多个样本,并请求为每个样本生成一个响应。但是,批量大可能会导致令牌总数超过 TPM 限制。此外,这还会增加任务的难度,并可能导致错误输出。例如,一个包含 30 个样本的批次可能只能得到 28 个预测结果。因此,图像级输入的批量大小设置为 20,视频级输入的批量大小设置为 6,以确保同时满足 TPM、RPM 和 RPD 这三个 API 限制。

每项任务的提示如下表所示。

在评估过程中,GER 任务也往往会触发 GPT-4V 的安全检查。这与视觉情绪分析和人类情绪识别任务有关。前一项任务涉及暴力图像,而在后一项任务中,人的身份被视为敏感信息。

为了减少这些错误,GPT-4V 被要求在提示时忽略说话者的身份。但是,安全错误仍可能发生。这些错误是随机发生的。例如,尽管所有图像都是以人为中心的,但有些图像会通过安全检查,有些则会失败。另外,一个样本可能第一次检查失败,但重试时会通过。对同一批次进行多次调用可减少拒检情况的发生。

此外,如果输入的批次未通过安全检查,将其分成较小的部分可能会使其通过检查。因此,对于一直未通过的批次,会将其拆分成两个较小的迷你批次,然后将这些迷你批次输入 GPT-4V。这一操作会重复进行,直到无法再分割为止。这种策略被称为 “递归调用策略”,其算法如下。

实验结果

首先,它报告了不同方法在五项广义情感识别任务中的表现。其中包括两种启发式基线:随机猜测和多数猜测。随机猜测法是从候选类别中随机选择标签,而多数猜测法则选择最常见的标签。两种基线都进行了十次实验,并报告了平均结果。

下表显示了视觉情感分析的结果,表明 GPT-4V 在大多数数据集上的表现都优于监督系统。之所以能取得如此优异的成绩,是因为 GPT-4V 具备强大的图像内容理解和推理能力,能准确推断出图像所唤起的情感状态。

下表显示了微表情识别的结果,其中 GPT-4V 的表现比启发式基线差。这表明,GPT-4V 是为普通大众能够识别的情绪而设计的,并不适合需要专业知识的任务。

动态面部情绪识别、多模态情绪识别可识别视频中的情绪,但由于 GPT-4V 不支持视频输入,它只能从视频中均匀采样帧并按顺序输入。降低了调用成本。下表显示了面部情绪识别的结果。

尽管 GPT-4V 和监督系统之间仍存在性能差异,但值得注意的是,GPT-4V 的性能明显优于启发式基线。这些结果证明了 GPT-4V 在情感识别方面的潜力。下表显示了动态面部情绪识别的结果。

下表是多模态情感识别的结果,其中GPT-4V 在 CMU-MOSI 中表现良好,而在 MER-MULTI 中表现相对较差。造成这种差异的原因是,在 MER-MULTI 中,声音信息比 CMU-MOSI 更为重要;由于 GPT-4V 不支持语音输入,因此在 MER-MULTI 中会丢失信息,从而限制了其性能。

此外,还对 GPT-4V 的多模态理解能力进行了评估。在所有任务中,只有多模态情感识别能提供多模态信息,因此对该任务进行了实验。下表报告了单模态和多模态结果:对于 CH-SIMS 和 MER-MULTI,多模态结果优于单模态结果,这表明 GPT-4V 具有多模态整合能力。然而,对于 CMU-MOSI,多模态结果略低于单模态结果。这是因为 CMU-MOSI 主要依靠词汇信息来传达情感,加入视觉信息可能会造成干扰。

总结

本文全面评估了 GPT-4V 在通用情绪识别任务中的表现:GPT-4V 表现出非常出色的视觉理解能力,在视觉情绪分析方面优于有监督系统。但是,在需要专业知识的微表情识别方面,GPT-4V 表现不佳。

此外,还介绍了 GPT-4V 的时间建模和多模态融合能力及其对色彩空间变化的稳健性。此外,还评估了预测的一致性和安全检查的稳定性,并将错误案例可视化,以突出情感理解的局限性。

此外,它还可作为一个零射基准,为今后的情感识别和多模态大规模语言建模研究提供指导。今后,我们打算扩大评估范围,纳入更多与情感相关的任务和数据集。

注:
论文地址:https://arxiv.org/abs/2312.04293v2
源码地址:https://github.com/zeroQiaoba/gpt4v-emotion.git

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2238415.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

8.机器学习--决策树

(⊙﹏⊙)下周有要开组会,不知道该说啥,啊啊啊啊😫 目录 1.基本概念 2.ID3算法 3.C4.5算法 4.CART算法 5.连续与缺失值处理 5.1.连续值处理 5.2.缺失值处理 6.剪枝处理 6.1.预剪枝策略 6.2.后剪枝策略 7.实例代码 1.基本概念 提…

uniApp之uni-file-picker使用踩坑

标题党~也不算坑吧 就是初体验 上传是需要存储一下子的,我以为uniApp是自己免费开的服务给大家中转使用,就没管这个事,但是官网是这么说的: 就我是怎么发现的,使用了一段时间后,上传的图片都裂了&#xff…

22.04Ubuntu---ROS2使用rclcpp编写节点C++

节点需要存在于功能包当中,功能包需要存在于工作空间当中。 所以我们要想创建节点,就要先创建一个工作空间,再创建功能包。 第一步:创建工作空间 mkdir -p chapt2_ws/src/ 第二步:创建example_cpp功能包&#xff0c…

UIStackView使用进阶

01 技术背景 前端的布局方式比较灵活,提供有Flex的布局方式,可以实现不同方向的弹性布局。Flex就像一个容器,可以将其内部的子控件统一进行布局。其包含主轴方向和交叉轴方向,主轴方向表示控件的排布方向,交叉轴方向和…

AMD-OLMo:在 AMD Instinct MI250 GPU 上训练的新一代大型语言模型。

AMD-OLMo是一系列10亿参数语言模型,由AMD公司在AMD Instinct MI250 GPU上进行训练,AMD Instinct MI250 GPU是一个功能强大的图形处理器集群,它利用了OLMo这一公司开发的尖端语言模型。AMD 创建 OLMo 是为了突出其 Instinct GPU 在运行 “具有…

【HarmonyOS】Install Failed: error: failed to install bundle.code:9568289

【HarmonyOS】Install Failed: error: failed to install bundle.code:9568289 一、问题背景: Install Failed: error: failed to install bundle. code:9568289 error: install failed due to grant request permissions failed. View detailed instructions. 11/…

#渗透测试#SRC漏洞挖掘#CSRF漏洞的防御

免责声明 本教程仅为合法的教学目的而准备,严禁用于任何形式的违法犯罪活动及其他商业行为,在使用本教程前,您应确保该行为符合当地的法律法规,继续阅读即表示您需自行承担所有操作的后果,如有异议,请立即停…

C++builder中的人工智能(7)如何在C++中开发特别的AI激活函数?

在当今的AI开发中,人工智能模型正迅速增加。这些模型使用数学函数来执行和学习,以便在传播时优化最佳结果,或在反向传播时选择最佳解决方案。其中之一就是激活函数。也称为转移函数或阈值函数,它决定了神经元的激活值作为输出&…

ReactPress数据库表结构设计全面分析

ReactPress Github项目地址:https://github.com/fecommunity/reactpress 欢迎Star。 ReactPress是一个基于React框架开发的开源发布平台和内容管理系统(CMS)。它不仅支持用户在支持React和MySQL数据库的服务器上搭建自己的博客和网站&#…

小菜家教平台(四):基于SpringBoot+Vue打造一站式学习管理系统

前言 昨天配置完了过滤器,权限检验,基本的SpringSecurity功能已经配置的差不多了,今天继续开发,明天可能会暂停一天整理一下需求,然后就进行CRUD了。 今日进度 补充SpringSecurity异常处理和全局异常处理器 详细操作…

零基础Java第十五期:抽象类接口(一)

目录 一、抽象类 1.1. 抽象的概念 1.2. 抽象类语法 1.3. 抽象类的特性 1.4. 图形类例子 二、 接口 2.1. 接口的概念 2.2. 语法规则 2.3. 接口的特性 2.4. 接口的使用 2.5. 实现多个接口 2.6. 工作当中常用的接口 一、抽象类 1.1. 抽象的概念 如果 一个类中没…

13.UE5流星火雨,引导施法技能制作

2-15 流星火雨,引导施法技能制作、随机数_哔哩哔哩_bilibili 目录 1.为流星火雨添加按键映射 2.创建流星火雨的动画蒙太奇 3.实现播放动画蒙太奇的逻辑 ​编辑 4.定义发射一波流星火雨的发射物 5.使用动画通知释放流星火雨 1.为流星火雨添加按键映射 创建名为流…

让redis一直开启服务/自动启动

文章目录 你的redis是怎么打开的黑窗不能关?必须要自动启动吗?再说说mysql 本文的所有指令都建议在管理员权限下打开cmd控制台 推荐的以管理员身份打开控制台的方式 Win R 打开运行 输入cmdShift Ctrl Enter 你的redis是怎么打开的 安装过redis的朋友都知道, redis的安…

【安装配置教程】二、VMware安装并配置ubuntu22.04

一、准备: 虚拟机安装ubuntu,首先要先找到一个镜像,可以去ubuntu官方下载一个,地址:下载Ubuntu桌面系统 | Ubuntu,下载好iso的镜像文件后保存好,接下来打开VMware。 二、安装&#xff…

Latex中给公式加边框

1、这里使用的不是 amsmath 的 \boxed 命令, 而是 empheq 的 empheq 环境以及 xcolor 的 \fcolorbox 命令, 下面是代码, 可以分别阅读这两个手册来获取更多的信息 \documentclass{article} \usepackage{xcolor} \usepackage{empheq} \usepackage{amsmath} \begin{document}\be…

Android Parcelable和Serializable的区别与联系

在Android开发中,Parcelable和Serializable是两种用来在组件之间传递数据的序列化机制。它们有不同的使用场景和性能特点。 以下是它们之间的关系和区别: 1. 什么是 Parcelable Parcelable 是 Android 特有的接口,用于高效地在进程间传递数…

Android 实现柱形图

在 Android 中实现柱状图,可以使用流行的图表库 MPAndroidChart,它支持多种类型的图表,包括柱状图、折线图、饼图等。下面是一个基本的柱状图实现步骤,具体分为以下几个部分: 1. 添加依赖 首先,你需要在 …

通过交互式网页学习相机成像原理

​ 入门摄影这门艺术,你是否有以下这些问题? 焦距、光圈、CMOS是什么?为什么光圈越大,背景虚化效果越好?什么是过曝?… 今天我将分享一个简单的、可交互的相机成像模型,可供大家以可视化的方式…

web——sqliabs靶场——第一关

今天开始搞这个靶场,从小白开始一点点学习,加油!!!! 1.搭建靶场 注意点:1.php的版本问题,要用老版本 2.小p要先改数据库的密码,否则一直显示链接不上数据库 2.第一道题&#xff0…

自监督学习:机器学习的未来新方向

引言 自监督学习(Self-Supervised Learning, SSL)是近年来机器学习领域的一个重要发展方向,迅速成为许多研究和应用的热点。与传统的监督学习不同,自监督学习利用未标注数据,通过设计自我生成标签的任务,帮…