Climax

基于vit的backbone

不同尺度的lead time


输入的每个时间片都像往常一样经过变量标记化、变量聚合和注意层，输出形状为T ×ℎ× w × D的特征张量，其中D为嵌入大小。然后，特征张量经过一个全局平均池化层，将维数降至T × d。最后，使用交叉注意层聚合10年的历史，然后将其馈给预测头，预测头将d维特征向量线性转换为H × W图。历史聚合和全局池模块是对原始ClimaX体系结构的两个补充。

一个月预测基本属于搞笑

Graphcast

这个没有开源代码

使用自回归预测

这个效果似乎好一些，一个月后的


输入特征有474个
迭代生成节点和边6次

用MLP将特征embedding

消息聚合和更新过程

decoder部分

output是MLP作为输出

技巧，有趣是全是MLP搞定的

CLCRN

这个过于硬核，AAAI2022的文章，参考2篇解析
幻方科技解读
西交一枝花解读
Conditional Local Convolution for Spatio-temporal Meteorological Forecasting
设计一种更贴合实际的图卷积核，偏模式识别，即在信息聚合的部分进行改进

简言之就是考虑方向和高度，从而改变不同的权重

基于DCRNN的backbone

Earthformer

在编码部信息提取部分进行改进，一种新的Attention方法
Cuboid Attention

这个结构看着很眼熟，SHI的TrijGRU就用的这种，似是一脉相传
值得注意的是可以通过NAS来搜索最佳策略

为了让独立的长方体块理解自己的同时，也要理解全局动力系统的信息，引入全局向量

我个人也是比较喜欢这种结构的，非自回归的分要比自回归要高

另一种自回归方式

AR方式的更清晰，然并卵技巧评分更低
经典问题之，一个更像真实图像的预测还是一个模糊但提升评分的预测？
至少到现在仍然没有人能解决
encoder部结构

decoder部分

Pangu

个人觉得算是国内的一个里程碑的东西，国内大模型在气象领域的应用，虽然FLAG在早些时候进行了各种尝试，但这个仍很有借鉴意义，为未来的可能方向提供了强有力的参考。

跟grahcast有些类似使用13层温压湿风

值得注意的是数据总量超过了2PB这个量与3年前微软的小时预测模型使用的数据量大小在一个量级

在计算时引入特定的位置偏差，且不会增加FLOP

另一个值得注意的是Hierarchical Temporal Aggregation这种策略有效的避免了多步迭代误差

利用贪心算法减少迭代次数

个人觉得前述已经证明了△t的尺度不能太大，太大训练样本不够，太小迭代误差太大，对于延伸期和月预测来讲问题很大我将在文末进行阐述，这个问题在临近预报上就没有那么大的影响，所以相较而言气象台存在的意义要远远大于气候中心

另一些值得关注的方法

物理约束相关模型

PDEnet：Learning differentiable solvers for systems with hard constraints
PINN：2019-Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations
STONet：STONet: A Neural-Operator-Driven Spatio-temporal Network
定义动力系统的偏微分方程：

u属于离散的Banach空间

神经网络模拟差分算子？

学习一组近似的映射

简言之，直接建模动力系统，而非在时空上拟合离散信号

过程如下：

那么第一个liner层表示线性变换升维，第二个liner模拟算子
方程左边利用图kernel模拟积分算子

捕获长程依赖关系，只要输入u，就能得到venc

decoder部分模拟积分过程，预测未来时刻的u

工作流如下：

这部分过于复杂，大概意思如下：
用了一个定理，叫算子通用逼近定理
误差小于伊普西龙
用一个mlp模拟branch空间上的算子操作？另一个mlp模拟trunk空间上的算子操作？
然后哈达玛积得到vdec
然后loss就比较好理解：

模式误差订正模型

Learning to correct climate projection biases
这个还是挺有趣的，这哥们在他的报告中说想设计一个范式干掉气象科研人员，别人都是想干掉预报员，好家伙，累了，毁灭吧！！

时空预测模型其他

FOURCASTNET: A GLOBAL DATA-DRIVEN HIGH-RESOLUTION
WEATHER MODEL USING ADAPTIVE FOURIER NEURAL
OPERATORS

SWINVRNN: A DATA-DRIVEN ENSEMBLE FORECASTING
MODEL VIA LEARNED DISTRIBUTION PERTURBATION

总结

不得不说这两年气象上对的预测模型发展越来越快，气候上的尤甚，整体来看从几年前的魔改模型到现在大模型和针对具体问题的算子改进转变，此领域的顶级研究可能在未来不再像以前搬运组合就能搞定了，对研究者有着更高的门槛和更深厚的数理基础。气候尺度上的预测要比临近预测难的多的多，这里不单单是自回归（主流）预测随着时间步增加带来的误差，另一方面其混沌性不可能通过这么简单的模型（尽管本文所提到的模型看似很复杂了）去拟合，从气候预测的角度来看如果label是月平均值，那么样本量少的可怜，如果这样的话不如多元线性回归，所以至少是天或者小时的数据去外推到一个月后的长度，这个不确定性比短临的2个小时要难的多根本不是一个量级，因为你要确定的预测出月后的天气过程，从而在平均的时候保证数值的正确，不然不如掷骰子或者随机数，此外气候的空间尺度要远远大于雷达的局地空间尺度。从但从气象局的角度来看不太可能搞出这种水平的东西，在未来除了绝大多数灌水的文章，研究门槛也会越来越高，并且实在没有商业价值，在此方向上的顶级人才一定会发现性价比实在过于低了，因为气象只是个应用方向。所以基本上还是依赖各家数值模式的预测结果，改进模式的预测结果似乎对于气象从业者来说是个更靠谱的方向。

另外气候预测实在是没啥实用价值，把气候中心看做气象台plus+版本更准一点，我本人轮值过几乎所有科，只能说鸡肋程度比气象台有过之而无不及。实际上气象台已经是气象局最有实用价值的单位了（省级）而县市级几乎没有存在的必要（为了存在而存在），一句话就可以总结，谁会在乎1一个月后的温度高1度还是低1度？所以大胆预测气象局的最终归属一定是被就地拆分然后并到其他部门里去（环保，应急等），数据部分移交统一的数据局管理，骗钱的气候研究并入研究所，另一部分前沿研究并入地球大数据研究中心这种地方，预报员注定成为历史，可惜了当年画了两筒彩色铅笔，呵呵，已在不知不觉中被扫进了垃圾堆，成为时代的眼泪了。

换个角度来看气象系统有且只有最值钱的东西只剩下数据了，那么本科应该把专业并到计算机系，单独开个气象大数据方向可能更靠谱一点，两会的精简5%编就是一个警告，自以为是的技能，荣誉，情怀就会像当年高速公路收费员一样被呵呵了，离开平台如果没有存身立命的本事，那就只能去跑滴滴了，呵，在这种情况下仍然在相关专业大范围扩招，最后结局就是不如干销售！

因为气象专业从来都不是一个门槛很低的的专业，也是少有的没法直接创造经济价值的专业（宪法），经济增长时没人会在意这些边边角角，一旦政府没法托底时，就要快刀斩乱麻了。