TSLANet：时间序列模型的新构思

news2024/10/10 14:29:23

实时了解业内动态，论文是最好的桥梁，专栏精选论文重点解读热点论文，围绕着行业实践和工程量产。若在某个环节出现卡点，可以回到大模型必备腔调或者LLM背后的基础模型重新阅读。而最新科技（Mamba,xLSTM,KAN）则提供了大模型领域最新技术跟踪。若对于具身智能感兴趣的请移步具身智能专栏。技术宅麻烦死磕AI架构设计。

时间序列数据具有内在的长程和短程依赖性，对分析应用提出了独特的挑战。虽然基于Transformer的模型擅长捕获长程依赖关系，但它们在噪声灵敏度、计算效率和与较小数据集的过度拟合方面存在局限性。

本次的研究人员引入了一种新颖的时间序列轻量级自适应网络（TSLANet），作为各种时间序列任务的通用卷积模型。具体来说，利用傅里叶分析来增强特征表示并捕获长期和短期相互作用，同时通过自适应阈值来减轻噪声。此外还引入了交互式卷积块，并利用自监督学习来改进 TSLANet解码复杂时间模式的能力，并提高其在不同数据集上的鲁棒性。

综合实验表明，TSLANet在分类、预测和异常检测等各种任务中优于最先进的模型，展示了其在各种噪声水平和数据大小下的弹性和适应性。

TSLNet Block

简单的说，TSLANet基于Transformer，用于时间序列表示学习。专为时间序列分类和预测任务而设计，同时它还结合傅里叶变换和卷积层，以捕获时间序列数据中的局部和全局模式。

TSLANet的不同之处在于它还包含傅里叶变换和卷积层。傅里叶变换允许模型通过将时间序列数据分解为不同的频率分量来捕获时间序列数据中的全局模式。然后，卷积层专注于从时间序列中提取局部特征。通过结合这些不同的技术，模型可以学习对下游任务有用的时间序列的丰富表示。

傅里叶变换层将一维傅里叶变换应用于输入时间序列，以将其分解为其频率分量。这允许模型捕获数据中的全局模式。这个过程会进行噪声过滤，处理完毕之后，会通过逆FFT变换重构数据。Transformer编码器层接受傅里叶变换层的输出，该一层主要使用自注意力机制来学习。卷积层则是将一维卷积层应用于Transformer的输出，以从时间序列中提取局部特征。最后是前馈网络层，卷积特征通过完全连接的前馈网络，以产生最终的时间序列表示。