【时间序列】TimeMixer (ICLR2024)

原文链接：TIMEMIXER: DECOMPOSABLE MULTISCALE MIXING
FOR TIME SERIES FORECASTING
代码仓库：https://github.com/kwuking/TimeMixer

符号定义

符号	含义
P	用于预测的历史序列长度（seq_len）
F	预测序列长度(pred_len)
C	变量数量（通道数量）
M	划分的尺度数（降采样次数）
L	Past Decomposable Mixing的层数

Multiscale Mixing Architecture

设输入序列为$X\in R^{P\ast C}$，为获得不同尺度下的时间序列，对原序列进行降采样：
X m ∈ R ⌊ P 2 m ⌋ ∗ C , m ∈ { 0 , 1 , . . . , M } . X_m \isin R^{\lfloor \frac{P}{2^m} \rfloor * C}, m\isin \{0, 1,..., M\}. Xm​∈R⌊2mP​⌋∗C,m∈{0,1,...,M}.

简单来说第$2^m$层降采样，就是每隔$2^m$个点取一个点

然后对m层降采样的结果分别进行嵌入(Embed)，得到多尺度的时间序列输入。

Past Decomposable Mixing

PDM模块一共有L层，每层的输入为前一层的结果：
X L = P D M ( X L − 1 ) , l ∈ { 0 , 1 , . . . , L } . \mathcal{X}^L = PDM(\mathcal{X}^{L-1}), l\isin\{0, 1,..., L\}. XL=PDM(XL−1),l∈{0,1,...,L}.
其中， X l = { X 0 l , X 1 l , . . . , X M l } , X m l ∈ R ⌊ P 2 m ⌋ ∗ d m o d e l \mathcal{X}^l = \{X^l_0, X^l_1,...,X_M^l\}, X_m^l \isin R^{\lfloor \frac{P}{2^m} \rfloor * d_{model}} Xl={X0l​,X1l​,...,XMl​},Xml​∈R⌊2mP​⌋∗dmodel​

简单来说，就是将降采样得到的M层多尺度时间序列，在PDM模块中迭代L次。

PDM 模块中首先有一个Decmpose操作，将时间序列分解成周期项(seasonal parts) S l = { s 0 l , s 1 l , . . . , s M l } \mathcal{S}^l=\{s_0^l, s_1^l,...,s_M^l\} Sl={s0l​,s1l​,...,sMl​}和趋势项(trend parts) T l = { t 0 l , t 1 l , . . . t M l } \mathcal{T}^l = \{t_0^l,t_1^l,...t_M^l\} Tl={t0l​,t1l​,...tMl​}。分解方法采用Autoformer中提出的SeriesDecomp方法。
s m l , t m l = S e r i e s D e c o m p ( x m l ) , m ∈ { 0 , 1 , . . . , M } . s_m^l, t_m^l = SeriesDecomp(x_m^l), m\isin \{0, 1, ..., M\}. sml​,tml​=SeriesDecomp(xml​),m∈{0,1,...,M}.
分解后，分别进行Seasonal Mixing和Trend Mixing，每一层PDM模块的输出为：
X l = X l − 1 + F e e d F o r w a r d ( S − M i x ( { s m l } m = 0 M ) + T − M i x ( { t m l } m = 0 M ) ) . \mathcal{X}^l = \mathcal{X}^{l-1}+FeedForward(S-Mix(\{s_m^l\}_{m=0}^M)+T-Mix(\{t_m^l\}_{m=0}^M)). Xl=Xl−1+FeedForward(S−Mix({sml​}m=0M​)+T−Mix({tml​}m=0M​)).

Seasonal Mixing & Trend Mixing

对于周期项（Seasonal Parts）和趋势项（Trend Parts）采用不同的合并策略。周期项采用自底向上：
$$form:1\to Mdo:s_m^l=s_m^l+Bottom-Up-Mixing(s_{m-1}^l).$$
而对于趋势项，则是：
$$form:(M-1)\to 0do:t_m^l=t_m^l+Top-Down-Mixing(t_{m+1}^l).$$
其中Bottom-Up-Mixing和Top-Down-Mixing分别由两个线性全连接层组成，带有GELU激活函数。

这一步简单来说就是将不同尺度信息向上/下传递了一遍，周期信息是向上传递的，趋势信息是向下传递的。
选择两种方向的原因：根据后文消融实验测试出来的。
注意，进行合并的时候还是按照各个尺度分别计算的。

Future Multipredictor Mixing

利用第L层PDM的输出，计算预测结果：
Y m = P r e d i c t o r m ( x m L ) , m ∈ { 0 , 1 , . . . , M } , Y = ∑ m = 0 M Y m . Y_m = Predictor_m(x_m^L), m\isin\{0, 1, ..., M\}, Y = \sum_{m=0}^{M}Y_m. Ym​=Predictorm​(xmL​),m∈{0,1,...,M},Y=m=0∑M​Ym​.
其中，$Y_m\in R^{F\ast C}$。

Predictor的本质是若干线性层，$x_m^L\in R^{\lfloor \frac{P}{2^m}\rfloor \ast d_{model}}$首先经过经过线性层由$\lfloor \frac{P}{2^m}\rfloor$拉成F，然后将$d_{model}$拉成C。

实验

长序列预测

TimeMixer提供的实验结果显示，效果有提升，但是不多
但其实验设置与同类论文有区别，关于PatchTST、DLinear等模型的结果与相关论文不同。

附录中有完整版：

附录中还展示了一个参数搜索调优后的结果：

多变量预测

事实上，在PEMS数据集是路网数据，共有数百个传感器，每个传感器提供一个时间序列。有很多图+序列的模型在PEMS类数据集上做测试，如果加入与这些模型的比较将较为全面。

消融实验

此处只列举长序列预测相关的消融实验。更多消融实验见原文，但总体效果都是case 1表现最好

效率

作为线性模型，没有自注意力机制，空间和时间复杂度都比较低。