文章概况

《Are Transformers Effective for Time Series Forecasting?》是2023年发表于AAAI上的一篇文章。该文章以“Transformer在时序预测中是否有效”为论点展开讨论，并提出一种非Transformer系列的简易网络模型。

模型流程

该模型主体思路借鉴了ARIMA的分解思路，将原先时序数据分解为趋势项和残差项，并分别经过全连接层，最终求和获得预测结果。其中趋势项使用是对原始数据做平均池化所得，残差项是原始数据和池化所得数据的差值。

作者认为该模型具有四点优势：
1.路径短，捕获的长短期关系效果好
2.更少的内存、参数和更快的推理速度
3.结构简单，可解释性探索相对容易
4.超参数少，不需要过多地针对参数进行调优

实验

本文的实验部分主要针对Transformer在时序预测中是否有效展开讨论。

定量结果

同一组实验中，红色为最佳结果，蓝色为第二佳结果，可以看出Dlinear占据着更多的优势结果，总体而言优于前人已有的模型方法。因此，Transformer系列模型在时序预测中并不如简单的全连接模型有效。

定性结果

文中对三种数据集上的预测结果进行可视化。很显然发现Transformer系列模型无法捕捉这些数据的规律，预测结果远不如Dlinear。这从预报任务的多样性说明了Transformer系列模型的不足。

其他对比

该部分作者针对以下几个方面展开讨论。
回顾窗口的大小： 回顾长度越长，Transformer系列模型效果保持不变或逐渐恶化，Dlinear则显著提高。
训练的数据量： 多数情况下，减少数据集降低了误差，表明在数据达到一定规模后，数据集大小并不是限制模型预测能力的因素。
不同的编码策略： Transformer系列模型的核心模块的各不相同，最佳编码策略的选取也不尽相同。
模型效率： 和普通Transformer模型相比，各类衍生模型加入了众多的创新元素，虽然一定程度上有所提高，但带来了更多的训练参数和推理时间。这削弱了推导基于内存高效Transformer的方法的重要性。

总结

这篇论文使用一个简单的模型超过了众多Transformer系列复杂模型，不禁让我深思：时序预测中Transformer的发展是否真的有效？文中做了多种实验，均表现出Transformer在时序预测中大可不必且不如全连接的结论。或许追逐了这么多复杂模型的探索，尝试一些简单的模型会有不一样的风景。