结合创新！LSTM+Transformer新成果登Nature，精度高达95.65%

news2024/11/24 23:00:05

推荐一个能发表高质量论文的好方向：LSTM结合Transformer。

LSTM通过门控机制有效捕捉序列中的长期依赖关系，防止梯度消失或爆炸，在处理具有长期依赖性的时间序列数据时有显著优势。而Transformer通过自注意力和多头注意力机制全面捕捉序列依赖，能够同时考虑输入序列中的所有位置，更好地理解上下文关系，实现高效的并行计算。

这种策略结合了两者的优势，在各种序列分析任务中实现了更精确的预测、更好的性能表现、更高的训练效率。比如登上Nature子刊的最新混合架构，以及精度高达95.65%的BiLSTM-Transformer。

本文整理了10种LSTM结合Transformer的创新方案，并简单提炼了可参考的方法以及创新点，希望能给各位的论文添砖加瓦。

论文原文以及开源代码需要的同学看文末

Advanced hybrid LSTM‑transformer architecture for real‑time multi‑task prediction in engineering systems

方法：论文提出了一种新颖的LSTM-Transformer混合架构，专门用于多任务实时预测。该模型结合了LSTM和Transformer架构的核心优势，通过在线学习和知识蒸馏技术，动态适应可变的操作条件并持续吸收新的现场数据。

创新点：

作者提出了一种新颖的LSTM-Transformer混合架构，专门用于多任务实时预测。该模型结合了LSTM和Transformer的核心优势，提供了一种优于传统预测模型的替代方案。
作者使用在线学习技术，使模型能够动态适应变化的操作条件，并不断融入新的现场数据。
作者利用知识蒸馏技术，有效地将大型预训练网络的洞察力转移给较小、预先训练网络，从而在不牺牲计算资源的情况下实现高精度的预测。

A BiLSTM–Transformer and 2D CNN Architecture for Emotion Recognition from Speech

方法：论文提出了一种新的情感识别模型架构，结合了双向长短期记忆（BiLSTM）-Transformer和二维卷积神经网络。BiLSTM-Transformer用于处理音频特征以捕捉语音模式的序列，而2D CNN用于处理梅尔频谱图以捕捉音频的空间细节。通过使用10折交叉验证方法验证模型的能力，该方法应用于Emo-DB和RAVDESS两个主要的语音情感识别数据库，并分别达到了95.65%和80.19%的高精度。

创新点：

提出了将双向长短期记忆（BiLSTM）-Transformer和二维卷积神经网络（2D CNN）结合的模型架构。这种创新的整合方法在理解和解释语音中的情感线索方面提供了新的可能性。
运用t-SNE算法，通过可视化评估了不同特征组合的有效性，并确定了在Emo-DB和RAVDESS数据库中具有最佳区分度的特征组合。

LSTTN: A Long-Short Term Transformer-based Spatio-temporal Neural Network for Traffic Flow Forecasting

方法：本文提出了一种名为LSTTN的新型交通流量预测框架，该框架综合考虑了历史交通流量中的长期特征和短期特征，以获得更准确的预测结果。LSTTN模型通过集成长期趋势、周期性和短期趋势的特征来改善预测准确性。

创新点：

提出了一种基于Transformer的交通流量预测框架LSTTN，该框架可以充分利用长时间序列中的长期趋势和周期性特征，以提高预测准确性。
在提出的框架中设计了具体的模块，包括使用掩码子序列Transformer进行预训练，通过堆叠的1D扩张卷积层提取长期趋势，以及使用动态图卷积层提取周期性特征。
在四个实际数据集上进行了实验评估，结果表明LSTTN模型在所有预测时间段上都优于基线模型。在四个真实世界的数据集上相比基线模型实现了最小5.63%和最大16.78%的性能提升。

SwinLSTM: Improving Spatiotemporal Prediction Accuracy using Swin Transformer and LSTM

方法：本文提出了一种新的循环单元SwingLSTM，它融合了Swin Transformer块和简化的LSTM，并基于此构建了一个用于时空预测任务的预测网络。

创新点：

提出了一种新的架构用于时空预测任务，能够高效地建模空间和时间依赖关系。
- 新的架构可以有效地捕捉时空依赖关系。
- 通过对各种数据集（包括Moving MNIST，TaxiBJ，Hu-man3.6m和KTH）的广泛实验，证明了该方法的出色性能。
提出了一种新的循环单元，称为SwinLSTM，能够高效地提取时空表示。
- SwinLSTM将Swin Transformer模块和简化的LSTM集成在一起，取代了ConvLSTM中的卷积结构，从而提高了预测准确性。
- SwinLSTM在Moving MNIST，TaxiBJ，Human3.6m和KTH等四个数据集上取得了出色的性能。