解决数据孤岛/计算消耗/误差累积问题,上海人工智能实验室苏锐:FengWu-GHR实现AI气象预测多重突破

news2024/10/24 16:24:00

「AI 方法出现之前,每 10 年才可以提高 1 天的气象预报技巧,而引入 AI 后,几个月就能提高预报技巧。」

在 2024 北京智源大会「AI for Science」论坛上,上海人工智能实验室青年研究员苏锐回顾了 AI 气象预报的历史发展,深入探讨了该领域所面临的挑战,并全面介绍了其团队研究成果 FengWu-GHR。

苏锐老师演讲现场

HyperAI超神经在不违原意的前提下,对苏锐老师的深度分享进行了整理汇总,一起来解密 AI 气象的最新发展吧!

今天,我给大家分享主题的是「探索未来,智驭气象—人工智能在地球科学研究的前沿进展」。

所谓的地球科学研究,主要是对大气圈层、海洋圈层、生物圈层、岩石圈层及它们之间相互作用、交换和循环过程的研究。事实上,大气与海洋的循环会对地球的气象、气候、生态系统等造成很大影响,模拟和分析大气、海洋的变化,进而预测天气、气候等,对人类的可持续发展至关重要。

AI 预报 vs. 数字预报

过去,基于物理的数字预报模式在研究上取得了很大进展,但其发展速度依然缓慢,并且对计算量的需求非常大。随着深度学习和人工智能在各个领域的成功应用,越来越多的研究机构开始尝试使用数据驱动的方法来进行天气预报。

AI 气象大模型的发展史

举例来说,欧洲中期天气预报中心作为国际上公认的权威机构, 从 2018 年开始,就率先尝试用深度学习技术来进行天气预报,但受限于当时的低分辨率气象数据,本次的尝试效果一般。

2022 年 2 月,英伟达推出 FourCastNet 气象模型, 首次在 0.25° 高分辨率的气象数据上进行预报,不过该模型仍未超越欧洲中期天气预报中心使用的物理数字预报模式,且此模型也只能预测少量的气象要素。

2022 年 11 月,华为推出盘古气象大模型, 宣称该模型在高分辨率气象数据上的性能超过了欧洲中期天气预报中心的 IFS 模式,这被视为一次巨大的突破性进展。

1 个月后,Deepmind 公司推出了 GraphCast 气象大模型, 该模型的主要特点是可以预测更多不同的气象要素。

2023 年 4 月,我们团队(上海人工智能实验室)推出了自己的气象大模型 FengWu, 相较于之前所有的模型,FengWu 在性能上有了显著提升。

AI 驱动,FengWu 模型达到最优台风轨迹预测能力

滚动预测,FengWu 模型的灵感来源

假如我们把地球展开成一个平面,并对该平面进行网格化处理,那么我们就会把全球范围内的经纬度分为 0.25° 空间分辨率(相当于大约 25 公里的尺度)。这意味着全球被划分成大约 720×1440 个格点,每个格点在垂直高度上又分为 37 个不同层次,涉及到如温度、湿度、风速、海平面温度、地表风速等 169 个变量。气象预报就是基于全球气象要素场来预测未来气象要素场的变化。

问题和模型

我们团队分析了过去 40 年内逐时的全球气象要素场数据后发现,每个时刻的全球气象要素场,实际上是上一个时刻要素场的天然标注。因此,在不需要额外标注数据的情况下,我们只需预测相邻两个时间点之间气象要素场的关系,就能够预测未来的气象要素场变化,这就是 FengWu 模型的最初灵感来源。

具体而言,FengWu 模型在预测下一时刻的气象要素场后,将其作为输入再预测下下个时刻的气象要素场,以此类推,这样的滚动预测就能得出未来 14 天要预测的气象要素场。

两大优势:长时间提前预报技巧 + 高计算效率

FengWu 模型具有两大优势,其一是具备长时间的提前预报技巧, 能够达到 10.75 天的预报能力。事实上,在 AI 方法出现之前,基于物理的数字预报模式平均每 10 年可以提高 1 天的预报技巧,而引入 AI 后,几个月的时间就能提高预报技巧。

FengWu 的核心优势

FengWu 模型的另一个优势是计算效率。 以往基于物理的数字预报模式需要 1 万个计算节点跑 1 小时,才能生成未来 10 天的预报结果。而 FengWu 模型仅需一张 GPU 跑 30 秒即可完成相同时间的预报结果,超过传统方法的 2,000 倍以上。

喜忧参半,FengWu 在台风预测的优势与挑战

为了评估 FengWu 模型在台风轨迹预测方面的能力,我们团队用 2023 年之后的台风数据进行测试,并将测试结果与欧洲中期气象预报中心、日本气象局、美国气象局等机构的测试结果进行了比较。

台风轨迹预测

结果发现,在提前 0-120 小时预测台风轨迹的情况下,FengWu 模型在每个节点上,预测台风位置的误差都是最小的。

相比传统的物理方法,AI 在预测台风强度这一任务上仍然存在差距。 这是由于目前所有基于 AI 方法的模型都是通过数据驱动的方式训练而来,由于台风等极端天气事件的数据相对较少,AI 模型在预测极端天气时会出现结果平滑化的趋势,从而导致其在台风强度预测上表现偏弱。

FengWu-GHR:首次实现 AI 预报分辨率提升至 0.09°

亟待解决:高分辨率和长时间误差累积

事实上,在完成 FengWu 模型的开发后,我们得到了许多气象领域专家的反馈。其中一个反馈是,尽管 FengWu 已经能够实现 0.25° 高分辨率的预测,但他们仍希望能够获得更高分辨率的气象预测结果。 另一个反馈是,长时间预测带来的误差累计问题需要进一步解决。

动机:为什么我们需要高分辨率气象预测

为什么我们需要更精细化、更高分辨率的气象预测呢?

以上海地表温度的图表为例,可以看到,尽管上海并不大,但不同区域的温度差异却很明显。在南北距离仅 80 公里的情况下,如果我们使用 0.25° 的气象预报模型进行预测,可能只能得到大约 3 个网格点数据,这对于描述天气分布的细节是不够的。而更高分辨率的预测数据能够提供更精确的大气运动模拟,进而带来更精细的预报结果。

为什么很难训练高分辨率模型

针对此,我们推出了 FengWu-GHR 模型,这是首个在 0.09° 高分辨率下实现的 AI 气象预报模型,其具体实现过程并不容易。

首先,将分辨率从 0.25° 提升到 0.09°,计算量和内存消耗要增加 80 倍以上。其次,更高分辨率的气象分析数据十分稀缺,但 AI 模型却需要大量的数据进行训练,这让从头训练出一个高分辨率的 AI 气象模型变得极其困难。

将数据分为两部分,在较高分辨率下分解复杂大气动态变化

为了解决这些问题,我们尝试将高分辨率的大气运动分解为两个不同部分。

首先,使用大量低分辨率数据训练一个模型(元模型)。然后,将高分辨率的气象数据分解成多个低分辨率气象数据,并使用元模型对每个气象数据进行预测。最后,将这些预测结果拼接起来,得到高分辨率的气象预测结果。

然而,这样的做法并没有充分利用高分辨率数据中的非线性关系。因此,在此基础上,我们引入了新的模块和少量参数,利用高分辨率数据对该模块进行训练,让它更好地捕捉高分辨率区域之间的非线性耦合关系。

在 ERA5 上学习的元模型无法直接处理高分辨率数据

具体而言,上图左侧的图标是原本的高分辨率场,将其分为 4 个不同低分辨率的场,再用语言模型进行预测,combine 后得到高分辨率场的预测,最后用新增加的模块去捕捉它的非线性。

处理累积误差

在处理长期预测带来的累积误差问题时, 盘古在每个预测时间点使用单独的训练模型来解决该难题,这是一个很有效的方法,但其训练成本非常高昂。因此,我们在每一步的预测过程增加了 LoRA 模块,并结合少量参数对每一步进行训练,这相当于每一步预测都有了新的模型,但只需要引用少量参数,显著减少了计算成本。

模型评估:FengWu-GHR 实现气象预报再升级

因为目前只有 IFS 达到 0.09° 分辨率的结果,我们将其作为参照标准来验证我们的测试结果。

IFS 和 FengWu-GHR 的 RMSE、ACC 比较

结果发现,在 RMSE、ACC 指标上,FengWu-GHR 都展现出明显的优势,RMSE 更低,ACC 更高。

IFS 和 FengWu-GHR 的 Bias、Activity 比较

用指标 Bias 来衡量预测结果偏差,FengWu-GHR 更接近于 0,测试结果更好。用 Activity 指标来衡量随着预测时间增加,预测结果是否会变得更模糊化。结果发现,FengWu-GHR 的预测结果慢慢趋向平滑,该模型仍然没有解决对极端天气预测产生的平滑效应。

Station 评估

通过分析场的数据、18,000 个不同气象站的实时观测数据,我们使用 2022 年 7-12 月的数据对模型进行检验,以 IFS_HRES、盘古大模型作对比,FengWu-GHR 在提前任何天数得到的预测结果都占据优势地位。

热浪评估

寒流评估

此外,FengWu-GHR 在热浪预测和寒流预测上也很有优势。

今天我们讲的是气象中期预报的问题,事实上,大气领域分很多尺度的不同预报,包括 1-3 天、长期的、季节性气候预报等。目前,我们主要集中在中期气象预报能力的研究上,但在未来,我们希望深入研究,探讨是否能够从中期预报扩展到气候级别的预报,更进一步研究气候演化和未来发展趋势。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1842816.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

群晖NAS本地部署并运行一个基于大语言模型Llama2的个人本地聊天机器人

前言 本文主要分享如何在群晖 NAS 本地部署并运行一个基于大语言模型 Llama 2 的个人本地聊天机器人并结合内网穿透工具发布到公网远程访问。本地部署对设备配置要求高一些,如果想要拥有比较好的体验,可以使用高配置的服务器设备. 目前大部分大语言模型的产品都是基于网络线上…

【Oracle篇】Oracle数据库坏块处理:rman修复坏块实践与案例分析(第七篇,总共八篇)

💫《博主介绍》:✨又是一天没白过,我是奈斯,DBA一名✨ 💫《擅长领域》:✌️擅长Oracle、MySQL、SQLserver、阿里云AnalyticDB for MySQL(分布式数据仓库)、Linux,也在扩展大数据方向的知识面✌️…

HarmonyOS模拟器(phone-x86-api9)一直卡顿的解决方法

在DevEco Studio 3.1.1 Release版本中的Device Manager中创建本地的模拟器,创建phone-x86-api9模拟器成功,但是启动该新建的模拟器一直显示"HarmonyOS"logo图片,然后一直卡在这里,运行结果如下所示: 检查模…

电脑桌面文件夹删除不了怎么办?6种方法快速解决,建议收藏!

桌面文件夹删不掉怎么办?有时会遇到桌面上的文件夹无法删除的问题,这是由于文件夹被系统进程或某些应用占用,或者是由于权限设置等原因造成的。以下是解决桌面文件夹无法删除问题的方法,帮助你有效地清理桌面环境。 桌面文件夹删不…

服装连锁企业批发零售一体化解决方案

在现代商业环境中,服装连锁企业面临着市场竞争激烈、消费者需求多样化和供应链复杂化的挑战。为了有效应对这些挑战,建立一体化的批发零售解决方案已成为提升运营效率、优化客户体验的关键举措。这种解决方案不仅整合了进销存管理,还有效整合…

爬山算法优点

人不走空 🌈个人主页:人不走空 💖系列专栏:算法专题 ⏰诗词歌赋:斯是陋室,惟吾德馨 目录 🌈个人主页:人不走空 💖系列专栏:算法专题 ⏰诗词歌…

ansible 任务块以及循环

任务块 可以通过block关键字,将多个任务组合到一起可以将整个block任务组,一起控制是否要执行 # 如果webservers组中的主机系统发行版是Rocky,则安装并启动nginx [rootpubserver ansible]# vim block1.yml --- - name: block tasks hosts…

CentOS 5(CentOS 6、Redhat 6)服务器配置VNC

一、配置服务器yum源 yum源(本地、华为云、阿里云、网易) 二、使用yum安装vnc服务 1、检查系统是否安装了vnc 和 vncserver, rpm -qa | grep vnc如果没有安装那就行自行下载安装(我这里用yum安装了,vncserver安装需…

【嵌入式DIY实例】-Nokia 5110显示DS3231 RTC数据

Nokia 5110显示DS3231 RTC数据 文章目录 Nokia 5110显示DS3231 RTC数据1、硬件准备与接线2、代码实现本文将介绍如何使用 ESP8266 NodeMCU 板和 DS3231 RTC 模块制作一个简单的数字实时时钟,其中可以使用连接到 NodeMCU 的两个按钮设置时间和日期,并将它们打印在诺基亚 5110 …

Qt/C++ 序列化(protobuf方式)

一、序列化介绍 序列化是将需要的内存对象转换为字节流或者其他数据格式的过程,以便保存到文件或者传输。反序列化则是将数据还原到内存对象。 序列化后存档格式有二进制数据、XML或JSON文件等。可以按照自己的需求进行序列化。 二、protobuf介绍 Protocal Buffe…

妙手ERP上线Shopee全托管产品编辑、批量发布功能,助力卖家高效上货!

全托管模式在2023年的跨境电商领域可谓是一股热潮,不论卖家还是平台都入局全托管。东南亚头部电商平台Shopee也在2023年7月推出全托管模式,虽然Shopee全托管模式推的时间较晚,但也不妨碍它带着卖家直接起飞! 根据Shopee官方公开的…

搜维尔科技:「案例」NBA新科冠军与Xsens运动捕捉的缘分

北京时间昨日,凯尔特人在主场106比88击败独行侠,以总比分4比1获胜,夺得队史第18冠,超越湖人队(17冠)成为历史上夺冠次数最多的球队。凯尔特人队上一次夺冠还是在2007-2008赛季。 凯尔特人队主力Jayson Tat…

收银系统源码推荐,线下线上一体化收银系统

1.收银系统源码开发语言 核心开发语言: PHP、HTML5、Dart后台接口: PHP7.3后台管理网站: HTML5vue2.0element-uicssjs收银端【安卓/PC收银】: Dart3,框架:Flutter 3.11.0-6.0.pre.27商家小程序助手端: uniapp线上商城: uniapp 2.功能介绍 支持测试体验…

生成式AI时代,数据存储管理与成本如何不失控?

无数据,不AI。 由生成式AI掀起的这一次人工智能浪潮,对企业的产品、服务乃至商业模式都有着颠覆性的影响。因此,在多云、大数据、生成式AI等多元技术的驱动下,数据要素变得愈发重要的同时,企业对于数据存储的需求也在…

windows系统停止更新办法

windows系统停止更新 双击启动下载的文件 然后再回到系统-更新这里,选择日期就行。

万元主力机型该选什么固态硬盘,佰维NV7200、NV3500 的实用一定要让你知道

固态硬盘:变革存储技术,探索无尽可能 今年的固态市场价格一直是稳中上涨。 固态的价格上涨有技术上的因素,也有人工成本上的因素。好在国产固态技术的崛起,在固态价格上涨之下,依旧能选购到性价比和性能出众的型号。…

FFmpeg+SDL2实现音视频播放器项目

一、FFmpeg视频解码器 1.视频解码知识 1).纯净的视频解码流程 压缩编码数据->像素数据。 例如解码H.264,就是“H.264码流->YUV”。 2).一般的视频解码流程 视频码流一般存储在一定的封装格式(例如MP4、AVI等)中。封装格式中通常还…

SAP赋能食品行业,确保安全与品质的双重飞跃

品安全与品质是消费者最关心的问题,也是食品企业的生命线。随着科技的发展和消费者需求的日益多样化,食品行业正面临着前所未有的挑战和机遇。SAP作为全球领先的企业资源规划(ERP)系统,为食品行业提供了全面的解决方案…

银河麒麟4.0.2安装带有opengl的Qt5.12.9

银河麒麟4.0.2下载地址:银河麒麟-银河麒麟(云桌面系统)-银河麒麟最新版下载v4.0.2-92下载站 VirtualBox:https://www.virtualbox.org/wiki/Downloads qt下载:Index of /archive/qt/5.12/5.12.9 1安装VirtualBox:网上教材比较多 1)安装完后安…

Android14 开发之Broadcast延迟及Service常驻等新特性说明

Android14 开发之Broadcast延迟及Service常驻等新特性说明 Broadcast延迟问题 FLAG_RECEIVER_FOREGROUND 是 Android 中的一种标志,它用于将广播接收器(BroadcastReceiver)标记为前台广播。前台广播具有较高的优先级,系统会尽快…