分析训练全球 2k+ 水文站数据,中科院团队发布 ED-DLSTM,实现无监测数据地区洪水预测

news2024/9/25 3:26:06

随着全球气候变化,洪水灾害正变得愈发频繁。联合国减少灾害风险办公室与比利时鲁汶大学灾害流行问题研究中心联合发布的报告指出:过去 20 年间,全球洪水灾害数量从 1,389 起上升到 3,254 起,增加了超两倍,占到灾害总数的 40%,影响人数达 165 万人。

洪灾会带来巨大的人员伤亡和财产损失。今年 4 月,洪涝和地质灾害共造成我国江西、广东等 17 省 (区、市) 159.8 万人不同程度受灾,因灾死亡失踪 24 人,农作物受灾面积 140.3 千公顷,直接经济损失 119.8 亿元,灾害损失为近 10 年同期最重。

如何有效地预测洪水流量对降低洪水灾害风险至关重要。去几十年里,基于水文过程的洪水流量预测取得了显著进步,但当前方法的预测结果依然严重依赖监测数据和参数率定。事实上,全球 95% 以上的流域没有任何监测数据,如何破解无监测数据和缺监测数据地区的径流和洪水预测,一直是水文领域长期面临的难题。

2024 年 4 月,中国科学院成都山地灾害与环境研究所欧阳朝军团队在 The Innovation 发表了题为「Deep learning for cross-region streamflow and flood forecasting at a global scale」的论文,提出了一种基于 AI 的径流洪水预测模型 ED-DLSTM,通过编码流域静态属性和气象驱动,利用全球超 2 千个水文站数据进行模型训练,尝试解决全球范围内有监测数据流域和无监测数据流域径流预测问题。

研究亮点:

  • ED-DLSTM 模型在有监测数据和无监测数据流域的洪水预报方面均表现优越

  • 首次对多种水文人工智能模型进行了训练,并在全球范围内提供了对比分析

  • 空间属性的编码明显提高了时间序列的预测能力,并且很好地解释了可迁移性

论文地址:
https://doi.org/10.1016/j.xinn.2024.100617

数据集:分布差异性显著的流域数据

该研究采用的训练数据集来自美国 (482 个流域)、英国 (406 个流域)、中欧 (461 个流域)、加拿大 (740 个流域) 等地共计 2,089 个流域,如下图所示:

流域位置分布及1950年至2000年期间若干平均年变量记录

数据集下载地址:

美国 CAMELS: https://go.hyper.ai/nCkDT

英国 CAMELS-GB: https://go.hyper.ai/DdUEf

中欧 LamaH-CE: https://go.hyper.ai/rMHSO

智利 CAMELS-CL: https://camels.cr2.cl/

加拿大 HYSETS: https://go.hyper.ai/l4etG

总体而言,与美国和加拿大西部地区相比,东部地区总体降水量和土壤含水量普遍较高;英国西部和北部苏格兰高地地区普遍表现出较高的年平均土壤含水量和降水量,而其他变量的变异性相对较低;在中欧,奥地利地区大部分流域地势高、降水多、气温低;落基山脉贯穿美国和加拿大,其附近盆地地势较高,降水量和土壤含水量较高,气温较低,复杂的蒸散和融雪效应使得径流的变异系数更大。

在研究人员看来,上述这些区域流域的分布差异性显著,空间变异性足够大,确保了数据的多样性,足以验证 ED-DLSTM 的跨区域流量预报 (cross-region streamflow forecasting, CSF) 能力。

模型架构:新颖的跨区域时空集成模型 ED-DLSTM

在本论文中,研究人员提出了一种新颖的跨区域时空集成模型 ED-DLSTM,该模型融合了静态空间属性和时间强制属性 (temporal forcing attributes), 以实现跨区域流量预测,下图显示了 ED-DLSTM 模型的整体架构:

ED-DLSTM 模型框架

ED-DLSTM 模型采用了编码器-解码器 (encoder-decoder) 结构, 包括 2 个共生 (symbiotic fashion) 方式运行的子模型,更适合通过联合建模捕捉全球和局部流域关系。如上图所示,模型的输入为多模态数据,输入的空间静态网格属性数据 (spatial static grid attribute data) 形成了一个相对稀疏的矩阵。

其中,编码器 (Encoder) 结合了静态信息 (static attributes) 和强制数据 (forcing data), 静态数据包括数字高程模型 (DEMs)、雪覆盖范围、土壤含水量、地下水位深度、潜在蒸散量、干旱指数和河道几何形状,这些属性指导模型区分不同区域的水文行为;强制数据包括降水、太阳辐射、气温、露点温度、地表气压、东风和北风速度,这些数据具有 24 小时的时间分辨率。

静态信息采用普通卷积来整合通道,并使用残差卷积提取空间静态属性。然后,利用空间金字塔池化 (SPP) 将不同区域的矩阵信息映射到一个固定的高维空间,从而对特定区域进行空间编码。随后,编码后的向量被用作 LSTM 单元的初始状态层。

解码器 (Decoder) 负责使用反向 LSTM 层将高级特征映射到预测的流量值。 研究人员选择在最后一个 LSTM 单元执行流量映射,因为 Seq2Seq 模型的完整信息应该在最后进行解码,这个解码层可以逆向捕捉信息趋势。研究人员可以分别为不同流域的各种水文响应行为进行编码和解码。

最终,该网络学习到从动态时间序列到区域静态属性下观测流量的映射关系,从而提供一致的 CSF 能力,使得模型能抽象地「意识」到不同流域的水文响应特征。

研究结果:ED-DLSTM 模型具备出色的预测能力和泛化能力

首先,研究人员对 2010 年 1 月 1 日至 2012 年 1 月 1 日期间 ED-DLSTM 模型的预测可信度进行了比较评估,并以 Nash-Sutcliffe 效率 (NSE)进行定量评估。

  • NSE (取值范围为(-∞,1]) 用于评估水文模型模拟结果 (NSE 值越接近 1,表示模型模拟结果与实际观测值越吻合,NSE 值小于 0 表示模型模拟结果较差)

ED-DLSTM 在数据集上产生的 NSE 结果

如上图所示:

  • 在美国地区,所分析的 482 个流域中,有 438 个流域的 NSE 超过 0,平均 NSE 为 0.78,中位数 NSE 为 0.80。
  • 在加拿大地区,所分析的 740 个流域中,有 695 个流域的 NSE 超过 0,平均 NSE 为 0.80,中位数 NSE 为 0.82。
  • 在英国地区,所分析的 406 个流域中,有 391 个流域的 NSE 超过 0,平均 NSE 为 0.68,中位数 NSE 为 0.70。
  • 在中欧地区,所研究的 461 个流域中,有 433 个流域的 NSE 超过 0,平均 NSE 为 0.73,中位数 NSE 为0.79。

总体而言,那些降雨量较大或径流系数较大的流域通常会产生更好的预测结果。值得注意的是,其中 81.8% 的流域平均 NSE 高于 0.6,凸显了 ED-DLSTM 模型出色的预测能力和泛化能力。

基于上述 4 个区域的预训练模型 (北半球),研究者对智利 (南半球) 的 160 个全新陌生流域 (未使用任何历史监测数据训练) 进行预测,以检验模型在无监测数据流域的预测能力,得到结果如下图所示:

智利 160 个新流域获得的模型泛化结果

当直接在智利新地区部署 ED-DLSTM 时,在美国预训练的模型显示 76.9% 的流域 NSE 大于 0;在加拿大预训练的模型在 66.2% 的流域中实现了大于 0 的 NSE;在中欧预训练的模型在 53.1% 的流域中实现了大于 0 的 NSE;在英国预训练的模型表现最差,只有 42.5% 的流域的 NSE 大于 0。

不同预训练模型的预测结果显现出了较强的空间分布一致性,展现了 AI 在未计量流域进行水流量及洪水预测的巨大潜力。

当预训练模型在智利 160 个无监测数据流域进行预测时,通过 ED-DLSTM 编码器对每个流域的特征进行可视化 (下图左侧) 和相似性分析 (下图右侧),发现预训练模型之间的平均编码相似度比随机噪声高 38.4%,说明 ED-DLSTM 的嵌入层不是无序的随机信号,而是模型识别和利用的高维特征信息,证明了 AI 能够在不同流域学习到「水文通识」。

参数可视化和可解释性

AI + 水文,助推智慧水利发展

洪水预测是水文学的重要分支之一,说起水文科学,我国先秦已有雨量、水位的测定;战国时,秦国「田律」规定地方官吏需及时上报雨量及受益、受害田亩;而后的历朝历代都有报汛制度。

水文预报是防汛抗旱决策、水资源合理利用、生态环境保护以及水利水电工程运行管理的重要依据。 传统的水文预报方法多采用基于过程驱动的水文模型结合水力学模拟复杂的物理过程,但是高质量的物理数据、复杂的数学工具和大量简化的假设给校准和验证带来了挑战。随着人工智能技术和交叉学科的发展,许多研究者对人工智能水文预报模型展开了深入研究。

2019 年,来自武汉大学水资源与水电工程科学国家重点实验室的研究团队提出了 LSTM 长短期记忆神经网络与 batch-size 学习、正则化、drop out neuron 相结合的深度学习网络,并应用于三峡水库入库洪水预报。从预报合格率、洪峰相对误差、均方根误差和基准拟合度 4 个指标综合评估可知,相比 BPNN 静态神经网络和 NARX 动态神经网络,LSTM 长短期记忆神经网络结合 3 种深度学习的辅助算法,有效提高了三峡水库入库洪水的预报精度。

2020 年,西北工业大学研究团队与黄河水利科学研究院合作,通过电子化黄河水文年鉴,以及汇编土壤、气候、地形及地质等多种要素,建立起国内首个成体系的黄河流域水文大数据。 在模型算法方面,他们突破了单站点智能预测模型,首创了站点群智能预测模型,并攻克了水文领域十大难题之一的历史资料缺失区域洪水预测问题,显著提升了洪水预测精度并延长了预见期。智能预测算法已成功应用于黄土高原主要产沙区、黄河中下游三门峡至花园口区间未控区、黄河上游唐乃亥等区域,显著提高了洪水预报能力。

2024 年 3 月,来自 Google Research 洪水预测团队的 Grey Nearing 及其同事开发的人工智能模型,通过利用现有的 5,680 个测量仪进行训练,可预测未测量流域在 7 天预测期内的日径流。随后,他们将该人工智能模型与全球领先的短期和长期洪水预测软件——全球洪水预警系统 (GloFAS) 进行了对比测试。

结果显示,该模型同日预测准确率与当前系统相当甚至更高。此外,该模型在预测重现窗口 (return window) 期为五年的极端天气事件时,其准确性与 GloFAS 预测重现窗口期为一年的事件时的准确性相当或更高。相关研究论文以「Global prediction of extreme floods in ungauged watersheds」为题,已发表在权威科学期刊 Nature 上。(点击查看详细报道:击败全球 No.1 系统、覆盖 80+ 国家,谷歌洪水预测模型再登 Nature)

如今,智慧水利已经由最初的物联网升级为了智联网,即物联网设备采集数据,AI 基于数据进行分析预测,并将预测结果实时反馈给相关人员,在洪水事件来临前完成群众疏散、公共财产保护等。未来,基于 AI 技术发展的智慧水利,将持续促进水利规划、工程建设、运行管理和社会服务的智慧化,提升水资源利用效率和水旱灾害防御能力,改善水环境和水生态。

参考资料:

1.https://mp.weixin.qq.com/s/sKPl55AEVf9GoXsLv0-8Hg

2.https://www.hanspub.org/journal/PaperInformation?paperID=28786

3.https://www.nwpu.edu.cn/info/1198/75728.htm

最后推荐一个「创作者激励计划」,感兴趣的小伙伴扫码即可参与!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1701229.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

宝塔面包安装搭建Flarum开源论坛程序 文档教程

一、服务器环境说明 宝塔 7.0.3 或更新版本 Linux Server(本文用的是 CentOs 7.4.6 64位) Apache 或者 Nginx(本文用的是 Nginx 1.16.0) MySQL 5.6(本文使用 MySQL 5.7,原因请看下方引用) PHP 7…

【漏洞复现】WordPress Country State City Dropdown CF7插件 SQL注入漏洞(CVE-2024-3495)

0x01 产品简介 Country State City Dropdown CF7插件是一个功能强大、易于使用的 WordPress 插件,它为用户在联系表单中提供国家.州/省和城市的三级下拉菜单功能,帮助用户更准确地填写地区信息。同时,插件的团队和支持也非常出色&#xff0c…

【wiki知识库】02.wiki知识库SpringBoot后端的准备

📝个人主页:哈__ 期待您的关注 目录 一、🔥今日目标 二、📂打开SpringBoot项目 2.1 导入所需依赖 2.2修改application.yml配置文件 2.3导入MybatisPlus逆向工程工具 2.4创建一个公用的返回值 2.5创建CopyUtil工具类 2.6创建…

06.深入学习Java 线程

1 线程的状态/生命周期 Java 的 Thread 类对线程状态进行了枚举: public class Thread implements Runnable {public enum State {NEW,RUNNABLE,BLOCKED,WAITING,TIMED_WAITING,TERMINATED;} } 初始(NEW):新创建了一个线程对象,但还没有调用…

设计模式八股文

什么是设计模式? 设计模式是软件开发过程中经常遇到的问题的通用解决方案。类似于前人总结的经验,遇到相似问题的时候有个参考。 设计模式七大基本原则? 单一职责:一个类应该只作一件事情。将功能分为小的独立的单元。开放封闭…

【mysql】更新操作是如何执行的

现有一张表,建表语句如下: mysql> create table T(ID int primary key, c int);如果要将 ID2 这一行的a字段值加 1,SQL语句会这么写: mysql> update T set c c 1 where ID 2;上面这条sql执行时,分析器会通过词…

springboot发送短信验证码,结合redis 实现限制,验证码有效期2分钟,有效期内禁止再次发送,一天内发送超3次限制

springboot结合redis发送短信验证码,实现限制发送操作 前言(可忽略)实现思路正题效果图示例手机号不符合规则校验图成功发送验证码示例图redis中缓存随机数字验证码,2分钟后失效删除redis缓存图验证码有效期内 返回禁止重复发送图验证码24小时内发送达到3次&#xf…

精通C++ STL(二):string类的模拟实现

目录 string类各函数接口总览 默认成员函数 构造函数 拷贝构造函数 赋值运算符重载函数 析构函数 迭代器相关函数 begin和end 容量和大小相关函数 size和capacity reserve和resize empty 修改字符串相关函数 push_back append operator insert erase clear swap c_str 访…

spring boot 之 结合aop整合日志

AOP 该切面仅用于请求日志记录&#xff0c;若有其他需求&#xff0c;在此基础上扩展即可&#xff0c;不多逼逼&#xff0c;直接上代码。 引入切面依赖 <!-- 切面 --> <dependency><groupId>org.springframework.boot</groupId><artifactId>sp…

云主机选购指南:如何选择适合自己的云主机

一、认识移动云 移动云是中国移动提供的专业云服务品牌&#xff0c;基于移动云计算技术构建。它实现了云网一体化&#xff0c;确保客户享有安全可控的服务。通过充分利用移动云计算能力&#xff0c;打造了N31X资源布局&#xff0c;结合各省级数据中心&#xff0c;通过专线互联…

基于Vue的前端加载中页面动画——弹跳动画Loading组件的设计与实现

基于Vue的前端加载中页面动画——弹跳动画Loading组件的设计与实现 摘要 随着技术的飞速进步&#xff0c;前端开发的复杂性日益提升。传统的开发方式通常将整个系统构建为一个整体&#xff0c;导致即使是微小的改动或功能的增加也可能引起整体逻辑的变动。为了解决这个问题&a…

【蓝桥杯】国赛普及-

题目列表 - 洛谷 | 计算机科学教育新生态 (luogu.com.cn) P9420 [蓝桥杯 2023 国 B] 子 2023 / 双子数 - 洛谷 | 计算机科学教育新生态 (luogu.com.cn) #include<bits/stdc.h> using llunsigned long long; #define int ll const int N2e510; int k0; std::string s; int…

嵌入式UI开发-lvgl+wsl2+vscode系列:1、资料收集以及Windows下WSL2模拟环境运行示例demo

文章目录 一、前言二、资料收集三、Windows下WSL2上编译运行lvgl的demo程序1、lvgl简介2、lvgl特性3、配置要求4、Windows下vscodewsl2模拟环境搭建4.1、安装vscodewsl24.2、下载获取项目&#xff1a;4.3、安装显卡驱动4.4、下载lvgl并编译运行示例demo 四、最后 一、前言 UI界…

Python数据分析-心脏病(随机森林预测分析)

本次案例分析用心脏病数据集来做随机森林模型预测 导入基本的数据分析包 import pandas as pd import numpy as np from sklearn.model_selection import train_test_split from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import accuracy_score…

云计算-关系型数据库(Relational Database)

关系数据库服务&#xff08;RDS&#xff09;&#xff08;Relational Database Service (RDS)&#xff09; Amazon RDS 可用于在云中设置和运行关系数据库。它支持多种数据库实例类型以及多个数据库引擎&#xff0c;如 Amazon Aurora、PostgreSQL、MySQL、MariaDB、Oracle 数据库…

基于Vue的应届毕业生财务管理系统-计算机毕业设计源码82886

摘 要 随着互联网大趋势的到来&#xff0c;社会的方方面面&#xff0c;各行各业都在考虑利用互联网作为媒介将自己的信息更及时有效地推广出去&#xff0c;而其中最好的方式就是建立网络管理系统&#xff0c;并对其进行信息管理。由于现在网络的发达&#xff0c;应届毕业生财务…

c# sqlite使用

安装包 使用 const string strconn "Data Sourcedata.db"; using (SQLiteConnection conn new SQLiteConnection(strconn)) {conn.Open();var cmd conn.CreateCommand();//创建表cmd.CommandText "create table t1(id int,name varchar(10))";var obj…

二百三十八、Hive——Hive中为每条数据创建唯一ID

一、目的 由于Kafka的JSON中缺少唯一的ID标识字段&#xff0c;因此发现后面的需求中DWD层表需要有一个唯一ID字段&#xff0c;这样才能与数据质量表更好的关联 二、Hive版本 尚硅谷的3.1.2版本 三、Hive创建唯一ID方法 网上的创建唯一ID方法有很多&#xff0c;这里展示一些…

子网划分,交换机原理与配置

子网划分 IP地址 IPv4由32位二进制数组成&#xff0c;一般用点分十进制来表示 IPv4是由32位二进制数组成&#xff0c;分成四组,第组八位。例如:11000000.10101000.00000000.00000010 为了便于配置通常表示成点分十进制形式例如:192.168.0.2 255.255.255.0 IPv6由128位组成&…

HDR视频相关标准-HDR vivid(二)

上文介绍了HDRvivid的一些技术。今天从全局角度来看看HDR视频的处理流程&#xff0c;HDR视频系统&#xff0c;即建立一个比SDR视频更大的色彩/亮度坐标体系&#xff0c;并改变系统的传输函数&#xff0c;以再现更大的色域(WCG)和更高的亮度动态范围。 菁彩 HDR技术的专业术语 …