目录
摘要
Abstract
文献阅读：一种改善河流水质预测的耦合模型以解决非平稳性和数据限制
一、现有问题
二、提出方法
三、相关知识
1、基于小波分析的LSTM（WA-LSTM）
2、迁移学习TL改进WA-LSTM
四、WA-LSTM-TL模型
五、研究实验
1、数据集
2、评估指标
3、实验结果
五、结论
水质指标预测分析
摘要
本周阅读的文献《A coupled model to improve river water quality prediction towards addressing non-stationarity and data limitation》中提出了一种新的复合模型WA-LSTM-TL，用于改进河流水质预测，尤其在应对非平稳性和数据限制方面。该模型整合了小波分析（WA）、长短期记忆网络（LSTM）以及迁移学习（TL）的技术。面对水质数据的高度非平稳性和环境变化导致的数据局限性，利用小波分析将原始水质序列分解成多个子序列，这些子序列能够更详细地捕捉水质动态的变化模式。引入迁移学习机制，选择合适的源域来补充目标域数据不足的情况，通过知识迁移进一步提升了模型在数据有限条件下的预测能力。实验结果证明，在目标域数据稀缺的情况下WA-LSTM-TL相比传统的LSTM模型性能提高了53%，且在目标域数据极为有限时，这一优势更为显著。此外，当目标域数据量充足时，WA-LSTM-TL依然能够保持较高的预测精度，展示了模型在不同数据条件下的鲁棒性和适应性。
Abstract
A new composite model WA-LSTM-TL was proposed in the literature "A coupled model to improve river water quality prediction towards addressing non stationarity and data limitation", which was read this week, for improving river water quality prediction, especially in dealing with non stationarity and data limitations. This model integrates techniques of wavelet analysis (WA), long short-term memory networks (LSTM), and transfer learning (TL). Faced with the highly non-stationary nature of water quality data and the limitations caused by environmental changes, wavelet analysis is used to decompose the original water quality sequence into multiple sub sequences, which can capture the dynamic change patterns of water quality in more detail. Introducing transfer learning mechanism and selecting appropriate source domains to supplement the insufficient data in the target domain further enhances the predictive ability of the model under limited data conditions through knowledge transfer. The experimental results demonstrate that WA-LSTM-TL outperforms traditional LSTM models by 53% when target domain data is scarce, and this advantage is even more significant when target domain data is extremely limited. In addition, when the target domain data is sufficient, WA-LSTM-TL can still maintain high prediction accuracy, demonstrating the robustness and adaptability of the model under different data conditions.
文献阅读：一种改善河流水质预测的耦合模型以解决非平稳性和数据限制
A coupled model to improve river water quality prediction towards addressing non-stationarity and data limitation
https://doi.org/10.1016/j.watres.2023.120895PDF：A coupled model to improve river water quality prediction towards addressing non-stationarity and data limitation (sciencedirectassets.com)
一、现有问题
- 水质数据的高度非平稳性：即使是非常强大的深度学习模型如LSTM，也难以精确捕捉水质动态的变化，具体来说，水质参数如总磷、总氮、氨氮及高锰酸盐指数等在时空上表现出显著的波动，这使得传统模型在高频预测时效果不佳。
- 监测数据的局限性：由于地理分布不平衡，许多地区的密集、高频或自动化的水质监测尚未实现，导致可用于训练的数据量不足，进一步影响了模型的性能。
二、提出方法
为了克服上述挑战，引入了WA和TL技术来辅助LSTM建模，提出了一个称为WA-LSTM-TL的新方法。WA作为预处理技术，有助于提高LSTM捕获水质动态的能力，增强其性能并缓解高频预测误差。而TL则通过从数据丰富的区域（源域）获取知识，转移到数据有限的区域（目标域），从而优化模型表现。这种方法不仅减少了对大量目标域数据的依赖，还提高了在数据受限条件下的建模精度。
三、相关知识
1、基于小波分析的LSTM（WA-LSTM）
小波分析（Wavelet Analysis, WA）是一种用于分析信号的技术，尤其适用于处理具有非平稳性的信号。与传统的傅里叶变换相比，小波分析能够同时提供时间与频率的信息，能够克服傅里叶变换在解析非平稳时间序列方面的局限性。WA通过将原始时间序列分解成多个不同子序列，从而更细致地捕捉到信号中的细节，更精确地捕捉信号的局部特征。
在本研究中，小波分析主要用于对水质数据的时间序列进行分解。WA采用逐步滑动策略执行，这意味着对于每个时间步长的序列，仅提取该步及其之前几步的数据来进行小波分析。这样做是为了确保每个时间步的分解只涉及到当前的信息，从而有效地防止了使用整个序列进行小波分析时可能会出现的信息泄露问题。
将每个指标的原始时间序列分解为四个长度相同的子序列，分别命名为A3、D3、D2和D1，即一个近似序列和三个层次的细节序列。然后将分解的子序列单独输入到LSTM网络中进行训练和测试，即每个子序列将用于开发单个LSTM。根据WA原理，子序列值之和等于原始时间序列值，将4个lstm的预测值汇总为最终的预测结果。这样的处理方式帮助模型更好地捕捉到水质动态中的非平稳模式，从而提高了预测的准确性。
使用LSTM作为底层网络，在LSTM网络中，每个时刻都有一个存储 块连接隐藏层。每个存储块由一个存储单元、一个输入门、一个遗忘门和一个输出门组成。LSTM通过这三个门对记忆单 元更新或删除之前的信息，克服了传统rnn在计算过程中不能很好 地学习长期依赖关系以及梯度爆炸和消失的缺点，这种特殊的结构使得LSTM非常适合处理和预测时间序列中具有较长间隔和延迟的重要事件。
2、迁移学习TL改进WA-LSTM
迁移学习是一种机器学习方法，它允许模型从一个任务或领域（源域）学到的知识应用到另一个相关但不同的任务或领域（目标域）。这种方法特别适用于目标域缺乏大量标注数据的情况。迁移学习的基本原理在于，通过利用源域中的丰富数据和已有的训练经验，可以减少目标域中模型训练所需的数据量，并降低过拟合的风险。
迁移学习的核心思想是：在一个任务上训练得到的模型包含的知识可以部分或全部地转移到另一个任务上。这通常涉及以下两个主要步骤：
-
源任务学习： 在源任务上训练模型，这个任务通常有大量的数据可用。
-
知识迁移： 将从源任务学到的知识（如网络参数、特征表示等）应用到目标任务上。
在本研究中，迁移学习被用于增强小波分析辅助的LSTM模型（WA-LSTM）在目标域上的表现。
- 首先在一个或多个数据丰富的源域上对WA-LSTM模型进行了预训练。
- 预训练阶段中，所有LSTM层的权重被冻结，以防止这些权重在后续的微调过程中被更改。
- 最后模型中的密集层使用目标域中的有限数据进行重新训练，以使其更好地适应目标域的特性。
四、WA-LSTM-TL模型
WA-LSTM-TL模型结合了WA和TL的优势，首先利用WA对水质数据进行分解，然后使用TL技术将从数据丰富区域学到的知识迁移到数据稀缺区域，最后通过LSTM网络进行预测。此方法通过两个主要方面改善了预测精度：
- 小波分析WA增强了模型对非平稳模式的捕捉能力；
- 迁移学习TL通过利用外部知识弥补了目标区域数据量的不足。
- 源域选择：参考未测量盆地（PUB）预测领域的区域化概念，设计六种区域化方法，在应用TL之前为目标域选择合适的源域。根据水文学，每个站点的水质动态受上游流域内的水流失过程、气候和人类活动的影响。以每个场地的上游流域面积为一个范围，考虑了20个相关属性，使用不同的区域化方法来选择一个与之具有最小欧氏距离的站点作为源域。
- 数据预处理：使用Python的PyWavelets包完成小波分析。
- 预训练WA-LSTM模型：采用源域数据集对WA-LSTM和LSTM进行预训练，并将用于微调预训练模型的目标域数据量设置为1个月，以量化在本地监测数据可用性最小的情况下，通过适当的基于区域化的TL建模所实现的性能改善。通过冻结LSTM层的权重来避免这些权重在微调过程中被更改，同时重新训练密集层以适应目标域的特征。
- 迁移学习：将预训练好的模型应用于目标域的数据上进行微调，利用目标区域的有限数据对稠密层进行了重新训练，使WA-LSTM-TL模型能够更准确地捕捉局部水质动态。
五、研究实验
1、数据集
实验所使用的数据来自中国沿海省份的49个水质监测站点，涵盖从2021年1月至2022年12月期间的水质监测数据，共计4380个样本。这些数据包括四个关键的水质指标：总磷（Total Phosphorus）、总氮（Total Nitrogen）、氨氮（Ammonia Nitrogen）以及高锰酸钾指数（Permanganate Index），每个站点每4小时记录一次数据。
2、评估指标
研究采用了两种主要的评估指标：平均绝对误差（Mean Absolute Error, MAE）和纳什-苏特利效率系数（Nash-Sutcliffe Efficiency, NSE）。其中，MAE用于训练阶段作为损失函数，它具有较好的抗异常值特性；而NSE则用来评估测试集上模型预测值与实际观测值之间的拟合程度。这两个指标分别反映了模型预测的准确性以及预测结果与实测值的一致性。理想情况下，MAE应接近零，NSE应接近一。
3、实验结果
验证当本地数据充足时，WA能否改善LSTM
针对本研究涉及的4个水质指标和49个站点开发了WA-LSTM和LSTM，使用2021年1月至2022年12月的数据进行模型训练(4380个样本)。当本地数据足够时，WA被证明是显著改善（p < 0.001）河流水质预测的有效策略。
与传统LSTM相比，WA-LSTM在测试阶段将四个指标的三个预测步骤的平均NSE值提高了0.189至0.311。TN的预测精度最高，三步平均NSE为0.786，最高NSE在一步预测时甚至达到0.963。TP的预测准确性最低，平均NSE为0.659。CODMn预测显示出最高（+0.295）的改善，平均NSE从0.416改善到0.711，而TP显示出最低（+0.211）的改善。准确性的差异可能是由不同的水质动态或从网站获得的原始数据的准确性。此外，随着预测步长的增加，WA-LSTM和LSTM的性能下降幅度近似（平均NSE的每步分别为-0.065和-0.068）。这些证据表明，将WA与LSTM耦合可以有效地捕获高度非平稳性下的河流水质动态，并可靠地提高高时频预测。
验证数据量对深度学习的影响
虽然神经网络权重的不确定性导致了一些固有的随机性，但随着源域数量的增加，WA-LSTM-TL的性能总体上呈现出增加然后趋于平稳的趋势（图a）。当源域从0（本地训练的WA-LSTM）增加到1时，预测准确性的最显著提高发生了。当源域增加到3时，WA-LSTM-TL的准确性似乎接近增长阈值，随后将源域增加到48只略微提高了性能，平均NSE为+0.015。作为假设，源域的数量与WA-LSTM-TL的性能不是线性正相关，而是近似对数正相关。实验结果表明，与仅在本地训练的WA-LSTM模型相比，WA-LSTM-TL模型在目标域数据有限的情况下性能提高了17%，而在极端数据不足的情况下，性能提升甚至达到了66%。
六、结论
通过结合小波分析和迁移学习，WA-LSTM-TL模型能够更好地捕捉水质动态中的非平稳性模式，并在数据有限的情况下仍然保持较高的预测精度。小波分析作为数据预处理手段，通过将原始时间序列分解为多个子序列，能够更有效地捕捉水质动态的复杂模式；而LSTM则利用其在处理序列数据方面的强大能力，对每个分解后的子序列进行建模，提高了模型对非平稳性水质数据的预测能力。迁移学习的应用则是通过从数据丰富的源域获取知识，并将其迁移到数据有限的目标域，从而提升了模型在目标域上的性能表现。虽然迁移学习在本研究中展示了其在数据受限情况下的优势，但其应用还存在一定的局限性，比如在某些情况下，目标域与源域之间的差异可能导致知识迁移的效果不佳。因此，未来的研究可以探索如何更好地选择和匹配源域与目标域。
