时间序列新范式！多尺度+时间序列，刷爆多项SOTA

news2024/11/17 10:02:23

当我们面对复杂模式和多变周期的应用场景（比如金融市场分析）时，采用多尺度时间序列来做分析和预测是个更好的选择。

这是因为：传统时序方法通常只用固定时间窗口来提取信息，难以适应不同时间尺度上的模式变化。但多尺度时间序列通过调整时间分辨率和距离，不仅能捕捉到时序的局部细节，还能把握其长期趋势和周期性变化。这就大大提升了模型对新数据集的适应性和不同应用场景迁移能力，让我们能够实现更精确的时间序列预测。

举个比较热门的例子：Pathformer。
Pathformer结合了时间分辨率和时间距离的概念，采用自适应Pathways来根据输入时序的时间特征动态提取和聚合多尺度特征，取得了SOTA预测效果。

除此之外，研究者们已经开发了很多创新的多尺度时间序列方案，我挑选了最新的10篇给各位作参考，开源代码贴心附上，欢迎各位讨论~

论文原文以及开源代码需要的同学看文末

Multi-Scale Transformer Pyramid Networks for Multivariate Time Series Forecasting

方法：论文提出了一种多尺度Transformer金字塔网络（MTPNet）用于多元时间序列（MTS）预测。MTPNet通过将MTS数据分解为季节和趋势组件来处理时间依赖性，其中线性层用于直接从历史数据生成趋势组件的预测。同时，MTPNet用于建模时间依赖性并生成季节组件的预测。MTPNet利用多个Transformer来捕捉不同尺度上的时间依赖性，然后将这些多尺度潜在表示连接起来，并应用CNN层来生成季节组件的预测。

创新点：

提出了一种维度无关嵌入技术，用于捕捉短期时间依赖关系。该技术将多元时间序列数据投影到高维空间中，同时保留原始的时间步长和变量维度。
提出了一种新颖的多尺度Transformer金字塔网络（MTPNet），专门用于有效地捕捉多个不受限制的尺度上的时间依赖关系。该网络利用来自不同尺度Transformer的多尺度潜在表示来进行预测。
MTPNet尤其在包含细粒度信息的数据集中表现出色，能够有效捕捉从细粒度到粗粒度尺度的各种时间依赖关系。这一发现突出了MTPNet在分析以分钟为单位采样的多元时间序列数据方面的潜力。

Time Series Prediction Based on Multi-Scale Feature Extraction

方法：论文提出了一种基于Transformer模型的多尺度特征提取模型MSFformer，用于解决长时间序列预测任务中长期依赖和短期特征提取不足的问题。研究通过引入一种新颖的特征卷积方法在CSCM中获取粗粒度信息，通过具有指定步长的卷积操作构建金字塔形数据结构，连续提取时间特征信息。

创新点：

MSFformer模型：提出了一种基于Transformer模型的多尺度特征提取模型，用于处理长期时间序列预测任务，能够有效提取长期依赖关系和短期特征，提高了模型的准确性和效率。
Skip-PAM组件：引入了Skip-PAM组件，通过多层级的注意力机制，在不同时间步长上处理输入数据，从而捕捉不同粒度的时间依赖关系，既能关注短期、细粒度的模式，又能捕捉宏观趋势和周期性。该组件有效提高了模型的预测能力。

HiMTM: Hierarchical Multi-Scale Masked Time Series Modeling for Long-Term Forecasting

方法：论文介绍了一种用于长期预测的分层多尺度遮蔽时间序列建模方法（HiMTM）。该方法包括分层多尺度Transformer（HMT）、解耦编码器-解码器（DED）、多尺度遮蔽重构（MMR）和跨尺度注意力微调（CSA-FT）等四个核心模块。

创新点：

引入了层次多尺度Transformer，通过层次分割更精细的补丁，增强了处理具有多尺度特征的时间序列的能力。这种方法提供了多尺度特征提取能力，为掩蔽时间序列建模提供了更好的指导信号。
在每个编码器层次上实现了专门用于重建掩蔽部分的解码器。这种多层次方法提供了不同层次的监督信号，从而更有效地指导预训练过程。这种方法克服了固定尺度重建的局限性，可以为时间序列提供多阶段的指导信号，更好地对时间序列进行建模。

MSHyper: Multi-Scale Hypergraph Transformer for Long-Range Time Series Forecasting

方法：本文提出了一种用于长期时间序列预测的多尺度超图Transformer模型MSHyper。通过引入H-HGC模块来建立超图和超边图，以提供高阶交互建模的基础。通过TMP机制来聚合高阶模式信息，并学习不同尺度时间模式之间的交互强度。

创新点：

H-HGC module：通过引入H-HGC模块，作者提出了一种建模不同尺度时间模式之间高阶相互作用的方法。该模块能够为模型提供基础，用于建模高阶模式之间的相互作用。
TMP mechanism：作者提出了TMP机制，用于聚合高阶模式信息，并学习不同尺度时间模式之间的相互作用强度。该机制通过三个消息传递阶段来实现。
作者提出了一种多尺度超图Transformer框架，用于建模不同尺度时间模式之间的高阶相互作用。该框架引入了多尺度超图和超边图，并采用三阶段消息传递机制来聚合模式信息和学习相互作用强度。