一、对于第三模态加入对于模型性能的影响
yes/no other num
尝试通过
1、删去第一次反向传播时第三模态的梯度更新
(1)第三次反向传播会再进行一次更新
(2)阻止模型频繁的学习训练样本
2、取消第三模态共享头部更新时的权重修正,改为梯度裁剪
二、对于交替单模态训练方式
此处代码可能存在错误,由于模型结构原因,尝试将交替单模态训练改为单一样本各个模态依次进行训练,训练结果有所提高。
三、对于共享头部
进行多次实验发现,共享头部放在偏见检测器之后的效果最好
根据已进行的实验,设想了两种模型准备进行再次实验。