NASA发布了prithvi WxC气象模型发布
Prithvi是NASA开源的模型,被誉为全球最大的开源地理空间大模型。昨天晚上逛X平台,我看到Prithvi模型又来了新成员:prithvi WxC。
NASA和IBM创建了一个基于MERRA-2数据的天气和气候AI基础模型—Prithvi WxC。先来看看效果:
zero-shot learning填补缺失的气象数据
Zero-shot,指零样本。
这里使用prithvi气象模型,而无需额外的特定训练,就可以输出补全后的气象数据。
对飓风艾达(Hurricane Ida)进行的零样本预测:
展示了 Prithvi WxC 模型在没有特定训练的情况下预测复杂天气系统的能力。
Gravity Wave预测
重力波Gravity Wave虽然是一个小尺度现象,但对大气动力学有重要影响。将其纳入气象模型(如Prithvi WxC)可以显著提高模型的预测能力和物理准确性,特别是在处理复杂地形和大气动力学时。
已有的Pretrained models预训练模型
用户可以直接下载Pretrained models模型,或在此基础上进行微调以适应特定的天气/气候任务,不需要从头开始训练。目前官方提供了三个版本的预训练模型,分别为:prithvi.wxc.2300m.v1、prithvi.wxc.rollout.2300m.v1和Gravity_wave_Parameterization。
特性 | prithvi.wxc.2300m.v1 | prithvi.wxc.rollout.2300m.v1 |
---|---|---|
参数数量 | 23亿 | 23亿 |
训练数据 | MERRA-2的160个变量 | MERRA-2的160个变量 |
主要用途 | 通用场景,不专注于预测 | 预测应用 |
掩码比例 | 50% | 未指定 |
输入时间差 | 可变 [-3, -6, -9, -12]小时 | 固定6小时 |
预测提前时间 | 可变 [0, 6, 12, 24]小时 | 固定6小时 |
优化重点 | 灵活性 | 自回归展开 |
推荐应用 | 通用用例,包括0小时预测 | 专门的预测任务 |
模型能力 | 重构大气状态,状态推进 | 重构大气状态,状态推进 |
输入 | 两个时间戳的数据 | 两个时间戳的数据 |
输出 | 单个(可能是未来的)时间戳的数据 | 单个(可能是未来的)时间戳的数据 |
Hugging Face链接 | https://huggingface.co/Prithvi-WxC/prithvi.wxc.2300m.v1 | https://huggingface.co/Prithvi-WxC/prithvi.wxc.rollout.2300m.v1 |
此外,表格中没有列出Gravity_wave_Parameterization模型(基础模型针对重力波微调后的版本),下载地址为:https://huggingface.co/Prithvi-WxC/Gravity_wave_Parameterization。这三个模型的大小都在30G左右,下载后就能直接使用。
子模型:granite-geospatial-wxc-downscaling模型(降尺度模型)
降尺度模型是基于Prithvi WxC基础模型进行微调,可用于MERRA-2数据和EURO-CORDEX气候模拟的降尺度处理。取0.5 x 0.625度分辨率的MERRA-2数据,在每个轴上降尺度6倍,大约为0.083 x0.104度的分辨率(大约是从55kmx68.75km提升到了为9.13x11.5km分辨率)。EURO-CORDEX气候模拟数据,则是可进行进行12倍降尺度处理。
downscaling降尺度模型安装与预测
github代码地址:https://github.com/IBM/granite-wxc
huggingface地址.https://huggingface.co/ibm-granite/granite-geospatial-wxc-downscaling
也可以自己下载改地址在本地安装,安装方法如下:
git clone https://github.com/NASA-IMPACT/Prithvi-WxC
git clone https://github.com/IBM/granite-wxc.git
cd Prithvi-WxC
pip install '.[examples]'
cd ../granite-wxc
pip install '.[examples]'
安装前,最好是用conda创建一个虚拟的python环境,官方的配置要求是python 3.11以上。我不想安装在C盘,安装命令如下:
conda create --prefix F:\conda_env\NASA_WEATHER_MODEL python=3.11
git clone https://github.com/NASA-IMPACT/Prithvi-WxC
git clone https://github.com/IBM/granite-wxc.git
cd Prithvi-WxC
pip install ".[examples]" //windows电脑改为双引号
cd ../granite-wxc
pip install ".[examples]" //windows电脑改为双引号
然后打开granitewxc_downscaling_inference.ipynb文件,开始运行jupyter notebook(运行前先给你的电脑装上CUDA,不然是用CPU跑模型):
然后就可以开始运行了,
参考链接:
Hurricane.可进行实验的示例飓风数据集.https://huggingface.co/datasets/Prithvi-WxC/Hurricane
Gravity_wave_Parameterization.可进行实验的示例重力波数据集.https://huggingface.co/datasets/Prithvi-WxC/Gravity_wave_Parameterization
github仓库:https://github.com/IBM/granite-wxc
huggingface首页.https://huggingface.co/Prithvi-WxC
Prithvi开源模型初尝试.https://blog.csdn.net/weixin_36396470/article/details/135877178
Prithvi的其他模型链接:
Prithvi的主页.https://huggingface.co/ibm-nasa-geospatial
Prithvi基础的地理信息开源模型https://huggingface.co/ibm-nasa-geospatial/Prithvi-100M
Prithvi多时相农作物在线自动分类的网址 https://huggingface.co/spaces/ibm-nasa-geospatial/Prithvi-100M-multi-temporal-crop-classification-demo
Prithvi洪水在线自动识别的网址:https://huggingface.co/spaces/ibm-nasa-geospatial/Prithvi-100M-sen1floods11-demo
Prithvi火灾伤痕识别模型:https://huggingface.co/ibm-nasa-geospatial/Prithvi-100M-burn-scar