CEEMDAN +组合预测模型(Transformer

CEEMDAN +组合预测模型(Transformer - BiLSTM+ ARIMA)

news2024/11/15 19:48:31

往期精彩内容：

前言

1 风速数据CEEMDAN分解与可视化

1.1 导入数据

1.2 CEEMDAN分解

2 数据集制作与预处理

3 基于CEEMADN的 Transformer - BiLSTM 模型预测

3.1 定义CEEMDAN-Transformer - BiLSTM预测模型

3.2 设置参数，训练模型

4 基于ARIMA的模型预测

4.1 介绍一个分量预测过程（其他分量类似）

5 结果可视化和模型评估

5.1 结果可视化

5.2 模型评估

代码、数据如下：

往期精彩内容：

时序预测：LSTM、ARIMA、Holt-Winters、SARIMA模型的分析与比较-CSDN博客

风速预测（一）数据集介绍和预处理-CSDN博客

风速预测（二）基于Pytorch的EMD-LSTM模型-CSDN博客

风速预测（三）EMD-LSTM-Attention模型-CSDN博客

风速预测（四）基于Pytorch的EMD-Transformer模型-CSDN博客

风速预测（五）基于Pytorch的EMD-CNN-LSTM模型-CSDN博客

风速预测（六）基于Pytorch的EMD-CNN-GRU并行模型-CSDN博客

CEEMDAN +组合预测模型(BiLSTM-Attention + ARIMA)-CSDN博客

CEEMDAN +组合预测模型(CNN-LSTM + ARIMA)-CSDN博客

前言

本文基于前期介绍的风速数据（文末附数据集），介绍一种综合应用完备集合经验模态分解CEEMDAN与混合预测模型（Transformer - BiLSTM + ARIMA）的方法，以提高时间序列数据的预测性能。该方法的核心是使用CEEMDAN算法对时间序列进行分解，接着利用Transformer - BiLSTM模型和ARIMA模型对分解后的数据进行建模，最终通过集成方法结合两者的预测结果。

风速数据集的详细介绍可以参考下文：

风速预测（一）数据集介绍和预处理-CSDN博客

1 风速数据CEEMDAN分解与可视化

1.1 导入数据

1.2 CEEMDAN分解

根据分解结果看，CEEMDAN一共分解出11个分量，我们大致把前7个高频分量作为Transformer - BiLSTM模型的输入进行预测，后4个低频分量作为ARIMA模型的输入进行预测

2 数据集制作与预处理

划分数据集，按照8：2划分训练集和测试集，然后再按照前7后4划分分量数据

在处理LSTF问题时，选择合适的窗口大小（window size）是非常关键的。选择合适的窗口大小可以帮助模型更好地捕捉时间序列中的模式和特征，为了提取序列中更长的依赖建模，本文把窗口大小提升到24，运用CCEMDAN-Transformer - BiLSTM模型来充分提取前7个分量序列中的特征信息。

分批保存数据，用于不同模型的预测

3 基于CEEMADN的 Transformer - BiLSTM 模型预测

3.1 定义CEEMDAN-Transformer - BiLSTM预测模型

注意：

输入维度为7,维度7维代表前7个分量
输入形状为 torch.Size([64, 7, 48])
在PyTorch中，transformer模型的性能与batch_first参数的设置相关，当batch_first为True时，输入的形状应为(batch, sequence, feature)，这种设置在某些情况下可以提高推理性能。

在使用Transformer模型中的多头注意力时，输入维度必须能够被num_heads（注意力头的数量）整除。因为在多头注意力机制中，输入的嵌入向量会被分成多个头，每个头的维度是embed_dim / num_heads，因此embed_dim必须能够被num_heads整除，以确保能够均匀地分配给每个注意力头。

因为此时分解分量为7个，可以事先适当改变分量个数，或者对信号进行堆叠，使调整多头注意力头数能够与之对应整除的关系。本文采用对序列进行对半切分堆叠，使输入形状为[64, 14, 12]。