区间预测 | MATLAB实现QRCNN-LSTM卷积长短期记忆神经网络分位数回归时间序列区间预测

效果一览

基本介绍

1.Matlab实现基于QRCNN-LSTM分位数回归卷积长短期记忆神经网络的时间序列区间预测模型；
2.多图输出、多指标输出(MAE、RMSE、MSE、R2)，多输入单输出，含不同置信区间图、概率密度图；
3.data为数据集，功率数据集，用过去一段时间的变量，预测目标，目标为最后一列，也可适用于负荷预测、风速预测；MainQRCNN_LSTMTS为主程序，其余为函数文件，无需运行；
4.代码质量高，注释清楚，含数据预处理部分，处理缺失值，如果为nan，用上一行替代，也含核密度估计；

模型描述

QRCNN-LSTM是一种结合了卷积神经网络（CNN）和长短期记忆神经网络（LSTM）的深度学习模型，用于时间序列预测。它的核心思想是将CNN用于提取时间序列的局部特征，然后将这些特征输入到LSTM中进行整体建模。在此基础上，QRCNN-LSTM模型还引入了分位数回归（Quantile Regression）的概念，可以用于预测时间序列的不同分位数区间范围内的值，从而提高了模型的预测能力。
具体来说，QRCNN-LSTM模型将时间序列划分为不同的区间，每个区间内包含若干个连续的时间步长。对于每个区间，模型使用CNN提取局部特征，然后将这些特征输入到LSTM中进行整体建模，得到该区间内的预测结果。而为了预测不同分位数区间的值，模型在LSTM的输出层引入了多个输出节点，每个节点对应一个分位数，从而可以同时预测不同分位数的值。
总的来说，QRCNN-LSTM模型在时间序列预测中具有较强的能力，可以应用于多个领域，如金融、气象、能源等。

• QRCNN-LSTM模型的具体公式如下：

• 首先，对于输入的时间序列数据 $x_t$，我们可以通过CNN提取出局部特征 $v_t^{(i)}$：

$$v_t^{(i)}=f(W^{(i)}\ast x_{t:t+h-1}+b^{(i)})$$

• 其中，$W^{(i)}$ 和 $b^{(i)}$ 分别表示CNN中的卷积核和偏置项，$h$ 表示卷积核的大小，$f$ 表示激活函数，$\ast$ 表示卷积操作，$x_{t:t+h-1}$ 表示从 $t$ 到 $t+h-1$ 的时间步数据。这里 $v_t^{(i)}$ 表示第 $i$ 个卷积核提取出的局部特征。

• 接下来，我们将所有的局部特征 $v_t^{(1)},v_t^{(2)},...,v_t^{(n)}$ 拼接起来，并通过一个全连接层将其映射到一个低维的隐层状态 $h_t$：

$$h_t=g(W_h[v_t^{(1)};v_t^{(2)};...;v_t^{(n)}]+b_h)$$

• 其中，$W_h$ 和 $b_h$ 分别表示全连接层的权重和偏置项，$[v_t^{(1)};v_t^{(2)};...;v_t^{(n)}]$ 表示将所有局部特征拼接起来，$g$ 表示激活函数。这里 $h_t$ 表示时间步 $t$ 的隐层状态。

• 最后，我们使用LSTM对隐层状态 $h_t$ 进行建模，并在输出层引入多个输出节点进行分位数回归，得到不同分位数区间的预测结果。具体地，LSTM的计算公式为：

$$\begin{array}{rlrlrl}{i}_t& =\sigma (W_{ii}{x}_t+b_{ii}+W_{hi}{h}_{t-1}+b_{hi})f_t& =\sigma (W_{if}{x}_t+b_{if}+W_{hf}{h}_{t-1}+b_{hf})o_t& =\sigma (W_{io}{x}_t+b_{io}+W_{ho}{h}_{t-1}+b_{ho})c_t& =f_t\odot c_{t-1}+i_t\odot \tanh (W_{ic}{x}_t+b_{ic}+W_{hc}{h}_{t-1}+b_{hc})h_t& =o_t\odot \tanh (c_t)\end{array}$$

• 其中，$i_t,f_t,o_t$ 分别表示输入门、遗忘门和输出门的激活值，$\sigma$ 表示sigmoid函数，$\odot$ 表示逐元素乘积，$c_t$ 表示细胞状态，$\tanh$ 表示双曲正切函数。在输出层，我们引入 $K$ 个输出节点，每个节点对应一个分位数，假设第 $k$ 个节点的输出为 $y_{k,t}$，则其计算公式为：

$$y_{k,t}=W_{out,k}{h}_t+b_{out,k}$$

• 其中，$W_{out,k}$ 和 $b_{out,k}$ 分别表示第 $k$ 个节点的权重和偏置项。在训练时，我们使用分位数损失函数对模型进行优化：

$$L_{\tau }=\{\begin{array}{llc}\tau (y_t-\hat{y}\tau ,t)& \text{if }{y}_t-\hat{y}\tau ,t\ge 0(\tau -1)(y_t-{\hat{y}}_{\tau ,t})& \text{otherwise}\end{array}$$

• 其中，$\tau$ 表示分位数，$y_t$ 表示真实值，${\hat{y}}_{\tau ,t}$ 表示模型预测的 $\tau$ 分位数值。

QRCNN-LSTM模型的原理是将CNN和LSTM这两种不同类型的神经网络结合起来，利用CNN提取时间序列的局部特征，再用LSTM对整体进行建模，从而能够更好地捕捉时间序列中的长期依赖关系和局部特征。同时，模型还引入了分位数回归的概念，可以预测时间序列在不同分位数区间的值，提高了模型的预测能力。

程序设计

• 完整程序和数据获取方式：私信博主。

%-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
% 加载数据
load data.mat
%-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
% 模型参数
numFilters = 128; % 滤波器数量
filterSize = 5; % 滤波器大小
numHiddenUnits = 256; % LSTM隐单元数量
dropoutRate = 0.2; % dropout率
numQuantiles = 3; % 分位数数量
learningRate = 0.001; % 学习率
numEpochs = 50; % 训练轮数
%-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
% 构建QRCNN-LSTM模型
inputLayer = sequenceInputLayer(inputSize);
convLayer = convolution1dLayer(filterSize,numFilters,'Padding','same');
lstmLayer = lstmLayer(numHiddenUnits,'OutputMode','last');
dropoutLayer = dropoutLayer(dropoutRate);
fcLayer = fullyConnectedLayer(numQuantiles);
outputLayer = regressionLayer();
%-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
layers = [inputLayer
          convLayer
          lstmLayer
          dropoutLayer
          fcLayer
          outputLayer];
%-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
% 设置训练选项
options = trainingOptions('adam', ...
    'LearnRateSchedule','piecewise', ...
    'LearnRateDropFactor',0.1, ...
    'LearnRateDropPeriod',5, ...
    'MaxEpochs',numEpochs, ...
    'MiniBatchSize',32, ...
    'GradientThreshold',1, ...
    'Shuffle','every-epoch', ...
    'Verbose',1, ...
    'Plots','training-progress');
%-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
% 训练模型
net = trainNetwork(XTrain,YTrain,layers,options);

% 预测
YPred = predict(net,XTest);
%-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
% 展示结果
figure
plot(YTest)
hold on
plot(YPred)
legend('True','Predicted')
xlabel('Time')
ylabel('Data')

参考资料

[1] https://blog.csdn.net/kjm13182345320/article/details/127931217
[2] https://blog.csdn.net/kjm13182345320/article/details/127418340