BiGRU-Transformer时间序列预测（多输入单预测）—

BiGRU-Transformer时间序列预测（多输入单预测）——基于Pytorch框架

news2024/10/8 10:00:21

1 介绍

本文将介绍一种基于Transformer和BiGRU（双向门控循环单元）的混合模型及其在时间序列预测中的应用。本模特适用于多输入单输出预测，适合风电预测，功率预测，负荷预测等等。

2 方法

首先，从Excel文件中导入数据，并去除了时间列。然后，将数据分为训练集和测试集，并进行了归一化处理。输入数据为前n-1列特征，输出为最后一列特征。接着，通过设置历史步长和未来预测步长，生成适用于训练和测试的数据集。

Transformer-BiGRU模型结合了Transformer和BiGRU的优势。Transformer用于捕捉全局特征，而BiGRU则更擅长于处理序列数据中的时间依赖性。模型结构如下：

输入层：接收归一化后的时间序列数据。
Transformer编码器层：使用多层Transformer编码器捕捉全局特征。
BiGRU层：使用多层双向GRU进一步处理序列特征。
线性层：输出预测结果。

3 结果

我们使用均方误差（MSE）作为损失函数，并采用Adam优化器进行模型训练。在训练过程中，每隔10个epoch打印一次损失，以监控模型的训练情况。经过100个epoch的训练，模型成功拟合了训练数据.

def main():
    # 数据集和数据加载器
    dataset_train = StockDataset(file_path=args.data_path)
    dataset_val = StockDataset(file_path=args.data_path, train_flag=False)
    print('###1', len(dataset_train))
    train_loader = DataLoader(dataset_train, batch_size=32, shuffle=True)
    val_loader = DataLoader(dataset_val, batch_size=32, shuffle=False)
    # 模型、优化器和损失函数
    encoder = TransAm()
    decoder = AttnDecoder(code_hidden_size=64, hidden_size=64, time_step=time_step)
    encoder_optim = torch.optim.Adam(encoder.parameters(), lr=0.001)
    decoder_optim = torch.optim.Adam(decoder.parameters(), lr=0.001)
    # 初始化最佳验证损失为无穷大
    best_val_loss = float('inf')
    # 训练过程
    total_epoch = 10
    for epoch_idx in range(total_epoch):
        train_loss = train_once(encoder, decoder, train_loader, encoder_optim, decoder_optim)
        print("train, epoch:{:5d}, loss:{}".format(epoch_idx, train_loss))
        # 评估过程
        eval_loss, accuracy = eval_once(encoder, decoder, val_loader)
        print("eval, epoch:{:5d}, loss:{}".format(epoch_idx, eval_loss))
        # 如果当前验证损失小于最佳验证损失，则保存模型权重
        if eval_loss < best_val_loss:
            best_val_loss = eval_loss
            # 保存模型
            torch.save({
                'encoder_state_dict': encoder.state_dict(),
                'decoder_state_dict': decoder.state_dict(),
                'encoder_optim_state_dict': encoder_optim.state_dict(),
                'decoder_optim_state_dict': decoder_optim.state_dict(),
                'epoch': epoch_idx,
                'val_loss': eval_loss
            }, 'best_model.pt')
            print("Saved best model at epoch {:5d}".format(epoch_idx))
    # 加载最佳模型权重
    checkpoint = torch.load('best_model.pt')
    encoder.load_state_dict(checkpoint['encoder_state_dict'])
    decoder.load_state_dict(checkpoint['decoder_state_dict'])
    encoder_optim.load_state_dict(checkpoint['encoder_optim_state_dict'])
    decoder_optim.load_state_dict(checkpoint['decoder_optim_state_dict'])
    # 进行最终评估或预测
    eval_plot(encoder, decoder, val_loader)

在模型评估阶段，我们将测试集的数据输入训练好的模型，得到预测结果。然后，反归一化处理预测结果，以便与真实值进行对比。我们使用均方误差（MSE）、均方根误差（RMSE）、平均绝对误差（MAE）和决定系数（R²）等指标评估模型性能。