论文题目(Title):Sentiment Word Aware Multimodal Refinement for Multimodal Sentiment Analysis with ASR Errors
研究问题(Question):具有语音识别错误的多模态情感分析的情感词感知多模态细化
研究动机(Motivation):在某些情况下,文本情态中的关键情感元素情感词被识别为其他词,这使得文本的情感发生了变化,直接影响了多模态情感模型的性能。
主要贡献(Contribution):
(1)提出了一种新颖的情感词感知多模态情感精细化模型,利用多模态情感信息动态重构带有错误的ASR文本的情感语义,从而实现更稳健的情感预测;
(2)通过深入分析,验证了情感词替换误差对最先进的MSA模型的负面影响;
(3)我们在三个真实世界的数据集上评估了我们的模型,实验结果表明我们的模型优于所有基线。
研究思路(Idea):提出了情感词感知多模态精细化模型(SWRM),利用情感线索动态精细化错误情感词。具体来说,首先利用情感词位置检测模块获取情感词在文本中最可能的位置,然后利用多模态情感词精化模块动态精化情感词嵌入。将改进后的嵌入作为多模态特征融合模块的文本输入,预测情感标签。
研究方法(Method):
研究过程(Process):
1.数据集(Dataset)
2.评估指标(Evaluation)
3.实验结果(Result)
总结(Conclusion):我们观察到SOTA MSA模型在实际应用中出现了明显的性能下降,通过深入分析,我们发现情感词替换错误是导致这种下降的一个非常重要的因素。针对这一问题,我们提出了情感词感知的多模态精细化模型,该模型通过融合情感信息动态精细化词嵌入,重构被破坏的情感语义。我们在MOSI-SpeechBrain, MOSI-IBM和mosi -科大讯飞的结果证明了我们的方法的有效性。在未来的工作中,我们将探索利用多模态信息来检测情感词的位置。