1 介绍
本文将介绍一种基于Transformer和BiGRU（双向门控循环单元）的混合模型及其在时间序列预测中的应用。本模特适用于多输入单输出预测，适合风电预测，功率预测，负荷预测等等。
2 方法
首先，从Excel文件中导入数据，并去除了时间列。然后，将数据分为训练集和测试集，并进行了归一化处理。输入数据为前n-1列特征，输出为最后一列特征。接着，通过设置历史步长和未来预测步长，生成适用于训练和测试的数据集。
Transformer-BiGRU模型结合了Transformer和BiGRU的优势。Transformer用于捕捉全局特征，而BiGRU则更擅长于处理序列数据中的时间依赖性。模型结构如下：
-
输入层：接收归一化后的时间序列数据。
-
Transformer编码器层：使用多层Transformer编码器捕捉全局特征。
-
BiGRU层：使用多层双向GRU进一步处理序列特征。
-
线性层：输出预测结果。
3 结果
我们使用均方误差（MSE）作为损失函数，并采用Adam优化器进行模型训练。在训练过程中，每隔10个epoch打印一次损失，以监控模型的训练情况。经过100个epoch的训练，模型成功拟合了训练数据.
def main():
# 数据集和数据加载器
dataset_train = StockDataset(file_path=args.data_path)
dataset_val = StockDataset(file_path=args.data_path, train_flag=False)
print('###1', len(dataset_train))
train_loader = DataLoader(dataset_train, batch_size=32, shuffle=True)
val_loader = DataLoader(dataset_val, batch_size=32, shuffle=False)
# 模型、优化器和损失函数
encoder = TransAm()
decoder = AttnDecoder(code_hidden_size=64, hidden_size=64, time_step=time_step)
encoder_optim = torch.optim.Adam(encoder.parameters(), lr=0.001)
decoder_optim = torch.optim.Adam(decoder.parameters(), lr=0.001)
# 初始化最佳验证损失为无穷大
best_val_loss = float('inf')
# 训练过程
total_epoch = 10
for epoch_idx in range(total_epoch):
train_loss = train_once(encoder, decoder, train_loader, encoder_optim, decoder_optim)
print("train, epoch:{:5d}, loss:{}".format(epoch_idx, train_loss))
# 评估过程
eval_loss, accuracy = eval_once(encoder, decoder, val_loader)
print("eval, epoch:{:5d}, loss:{}".format(epoch_idx, eval_loss))
# 如果当前验证损失小于最佳验证损失，则保存模型权重
if eval_loss < best_val_loss:
best_val_loss = eval_loss
# 保存模型
torch.save({
'encoder_state_dict': encoder.state_dict(),
'decoder_state_dict': decoder.state_dict(),
'encoder_optim_state_dict': encoder_optim.state_dict(),
'decoder_optim_state_dict': decoder_optim.state_dict(),
'epoch': epoch_idx,
'val_loss': eval_loss
}, 'best_model.pt')
print("Saved best model at epoch {:5d}".format(epoch_idx))
# 加载最佳模型权重
checkpoint = torch.load('best_model.pt')
encoder.load_state_dict(checkpoint['encoder_state_dict'])
decoder.load_state_dict(checkpoint['decoder_state_dict'])
encoder_optim.load_state_dict(checkpoint['encoder_optim_state_dict'])
decoder_optim.load_state_dict(checkpoint['decoder_optim_state_dict'])
# 进行最终评估或预测
eval_plot(encoder, decoder, val_loader)在模型评估阶段，我们将测试集的数据输入训练好的模型，得到预测结果。然后，反归一化处理预测结果，以便与真实值进行对比。我们使用均方误差（MSE）、均方根误差（RMSE）、平均绝对误差（MAE）和决定系数（R²）等指标评估模型性能。
代码下载链接：BiGRU-Transformer时间序列预测（多输入单预测）——基于Pytorch框架 (qq.com)
最后：
小编会不定期发布相关设计内容包括但不限于如下内容:信号处理、通信仿真、算法设计、matlab appdesigner，gui设计、simulink仿真......希望能帮到你！
