CMIP6数据处理技术教程

news2025/1/12 1:38:28

原文链接:CMIP6数据处理技术教程icon-default.png?t=N7T8https://mp.weixin.qq.com/s?__biz=MzUzNTczMDMxMg==&mid=2247611539&idx=4&sn=3eb0490b72ef694dcd41f6de0b623388&chksm=fa827574cdf5fc62372bfcf188ea1ae6e41350ff8469c2940ed097244b205e0dd73f4c8832fa&token=616696502&lang=zh_CN#rd

一:CMIP6中的模式比较计划及AI大语言

1.1G CM

全球气候模型(Global Climate Model, GCM),也被称为全球环流模型或全球大气模型,是一种用于模拟地球的气候系统的数值模型。这种模型使用一系列的数学公式来描述气候系统的主要组成部分,包括大气、海洋、冰冻土壤以及地表和海洋表面的生物地理过程。GCM在空间和时间上的精度可以根据需求进行调整,通常的分辨率可以从几百公里到几公里,时间步长可以从几分钟到几小时。

图片

1.2 CMIP

CMIP,全称为气候模型比较计划(Climate Model Intercomparison Project),是由世界气候研究计划(World Climate Research Programme,WCRP)发起的一个国际合作项目。其目的是通过收集和比较各种全球气候模型(GCMs)的模拟结果,以理解过去的、现在的和未来的气候变化。

1.3相关比较计划

图片

1.4人工智能与气候变化研究
大语言模型
在气候变化研究中的应用

常用工具:ChatGPT

二:数据下载

2.1方法一:手动人工

图片

2.2方法二:自动

利用Python的命令行工具

图片

2.3方法三:半自动购物车

利用官方网站

图片

2.3方法三:半自动购物车

利用官方网站

图片

2.4 裁剪netCDF文件

基于QGIS和CDO实现对netCDF格式裁剪

图片

QGIS中的操作

图片

裁剪效果

2.5 处理日期非365天的GCM

三:夯实基础

3.1 Python基础

Python 是一种高级的、解释型的编程语言,其语法简洁明了,适合快速开发。在大气科学中,Python 以其丰富的科学计算和数据分析库备受青睐。这些库如 Numpy,Scipy,Pandas 和 Xarray 等,为处理大气科学数据提供了强大的支持。
lNumpy:Numpy 是 Python 中用于科学计算的核心库,提供了高性能的多维数组对象及相关工具。对于大气科学数据的处理,例如温度、压力、风速等通常都会使用到多维数组。Numpy 提供了丰富的函数库来处理这些数组,包括数学运算、逻辑运算、形状操作、排序、选择等操作。
Scipy:Scipy 是基于 Python 的开源软件,用于科学计算中的数值积分和微分方程数值求解,线性代数,优化,信号处理等。

PandasPandas 是基于 Numpy 构建的,使数据清洗和分析工作变得更快更简单。Pandas 是专门为处理表格和混杂数据设计的,而 Numpy 更适合处理统一的数值数组数据。在大气科学中,例如对气象站的观测数据进行时间序列分析,处理混合类型的气象数据,以及对数据进行清洗、筛选和统计等操作,Pandas 都是非常有用的工具。

3.2 CDO基本操作

CDO(Climate Data Operator)是大气科学领域常用的一款气候和气象数据处理工具。它是一个功能强大的命令行工具,可以处理和分析格网和无格网数据,支持多种数据格式,包括netCDF、GRIB、SERVICE, EXTRA和IEG。

CDO提供了一套丰富的函数库,可以用来进行各种常见的数据操作,包括基础操作:如选择、提取和修改变量、维度、属性等。
数值操作如四则运算、统计运算、函数运算等。例如,可以计算数据的平均值、最大值、最小值、标准差等。
空间操作:如重新格网、插值、汇总、选择和提取地理区域等。
时间操作:如选择和提取时间周期、计算时间平均或累积等。

3.3 Xarray的基本操作

Xarray 是一个用于处理多维数组数据的 Python 库,它在 numpy 的基础上提供了一系列用于数据操作和分析的高级接口,并能很好地支持 netCDF 这类基于网络的自描述数据格式,因此在大气科学和气候科学中被广泛使用。

Xarray 的主要特点包括:
基于标签的数据操作:Xarray 使用维度名称而不是轴编号进行数据选择和操作,极大地增强了代码的可读性和可维护性。
自动对齐数据:在进行运算时,Xarray 可以自动对齐不同数据集的变量(variables)和坐标(coordinates)。
分组运算和数据透视:Xarray 支持类似于 pandas 的分组运算(group-by)和数据透视(pivot)功能。

/O操作:Xarray 对多种数据格式提供了非常好的支持,尤其是对 netCDF 数据的读取和写入。

四:AI大语言模型支持下:单点降尺度

使用ChatGPT辅助编程实现目标。

4.1 Delta方法

Delta方法(Delta Change Method),也称为增量方法或差值方法,是气候模型降尺度的一种简单而常用的方法。该方法假设气候变化的幅度在未来相对于历史期间将保持恒定。因此,对于某一具体的未来时段,可以通过计算过去和现在气候的差值(即 delta),并将其应用到未来的气候预测上,来预估未来的气候状态。该方法可以应用于温度和降水等气候变量的预测。

图片

4.2统计订正

概率分布函数(Probability Density Function, PDF)的订正。这种方法的基本思想是:通过修改大尺度模型输出的PDF,使其更符合观测数据的PDF,从而获得更准确的小尺度气候变量。

图片

4.3机器学习方法

降尺度是将粗尺度的全球气候模型(GCM)输出数据转换为地面更精细尺度的过程。机器学习方法因其在处理复杂模式识别和高维数据问题的强大能力,已经被成功应用于降尺度技术。

实现步骤
建立特征
建立模型

模型评估

图片

4.4其他方法
偏最小二乘回归方法
分位数映射(Quantile Mapping)方法
气候因子方法

4.5多算法集成方法
多算法的集成

图片


贝叶斯模型

PyMC3实现

五:AI大语言模型支持下:统计方法的区域降尺度

使用ChatGPT辅助编程实现目标。

5.1 Delta方法

图片

5.2 基于概率订正方法的

六:基于WRF模式的动力降尺度

动态降尺度通常使用更高分辨率的区域气候模型(RCM),这些模型在更大尺度的全球气候模型驱动下运行。其中,WRF(Weather Research and Forecasting)模型是目前使用最广泛的区域气候模型之一。

WRF模型是一个灵活的、大气环流模型,适合用于各种尺度的气候和气象研究。它的主要特点是具有高分辨率(可达到几公里),并且可以考虑到许多重要的地球物理过程,如云的形成、降水、陆面过程、海洋过程、边界层过程、辐射、化学过程等。

6.1制备CMIP6的WRF驱动数据

利用cdo工具对gcm的输出文件进行重新编码制备wrf的驱动数据

6.1.1针对压力坐标系的数据制备

6.1.2针对sigma坐标系GCM数据制备

6.1.3 WPS处理

图片

6.2 WRF模式运行

图片

6.3 模式的后处理
提取变量
变量的统计
变量的可视化

图片

图片

七:AI大语言模型辅助下:典型应用案例-气候变化1

使用ChatGPT辅助编程实现目标。

7.1针对风速进行降尺度

图片

7.2针对短波辐射降尺度

图片

八:典型应用案例-气候变化2

ECA极端气候指数计算

ECA (European Climate Assessment) 是欧洲的一个气候评估项目,其在全球范围内发布了一系列的极端气候事件指数。这些指数被广泛用于气候变化研究,特别是在研究极端天气和气候事件方面。

ECA 的极端气候指数主要包括以下几类:

温度指数:这些指数主要用于度量温度的极端情况,例如热日数(TX90p,年中最高气温超过90百分位数的天数)、冷日数(TN10p,年中最低气温低于10百分位数的天数)、热夜数(TN90p,年中最低气温超过90百分位数的天数)、冷夜数(TN10p,年中最低气温低于10百分位数的天数)等。

降水指数:这些指数主要用于度量降水的极端情况,例如最大连续5日降水量(RX5day)、大于或等于10mm的降水日数(R10mm)、大于或等于20mm的降水日数(R20mm)、降水强度(SDII)等。

这些指数对于理解和预测极端气候事件的影响非常重要,因为极端气候事件(如热浪、干旱、洪水等)往往比平均气候变化带来更大的影响。因此,对这些指数的研究有助于我们更好地理解和适应气候变化。
Consecutive dry days index
Consecutive frost days index per time period

图片

Consecutive summer days index per time period
Consecutive wet days index per time period

图片

九:典型应用案例-农业与生态领域

春小麦生长周期变化

1. 计算有效积温

2. 萌发、出苗、分蘖、拔节、抽穗、开花和成熟周期时间计算
3.Biome-BGC生态模型

Biome-BGC是利用站点描述数据、气象数据和植被生理生态参数,模拟日尺度碳、水和氮通量的模型,其研究的空间尺度可以从点尺度扩展到陆地生态系统。

十:典型应用案例-水资源领域

水资源领域指数变化
1.机器学习方法估算蒸散发
2.水库和河流水位

3.不同重现期的降水强度

十一:典型应用案例-建筑物设计领域

建筑物设计领域指数变化
1.热指数(Heat Index, HI)
2.采暖度日数(Heating Degree Days, HDD)

3.制冷度日数(Cooling Degree Days, CDD)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1980481.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

绝对干货!分享把Fildder录制的脚本导出成Jmeter脚本的方法(实测在Fiddler5中有效)

相信做过接口测试的小伙伴都面临过这样的窘境——在没有接口测试文档的情况下,进行接口的压力测试!怎么破? 通常的做法都是利用抓包工具(以fiddler为例)进行抓包,然后把抓包请求手写到压力测试工具中&…

解决Solidworks 2024运行的Windows资源极低,执行此命令可能会导致SOLIDWORKS 失败。

Solidworks Resource Monitor 可供使用的系统内存很低。请关闭一些应用程序以释放资源。即使内存十分充足,也容易出现这些提示,而我个人感觉2024版相比以前版本更容易出现这个问题,这显然是Solidworks本身的Bug。网上普遍流传的解决方法&…

再讲Langchain 提示词模板(PromptTemplate)

在LangChain 0.2中,提示词模板(Prompt Template)是一个非常重要的概念和功能。它允许我们创建结构化和可重用的提示,以便更有效地与语言模型进行交互。 提示词模板的主要作用包括: 结构化提示: 允许我们定义一个固定的提示结构,包含静态文本和动态变量。 参数化: 可以在模板中…

汽车测试-ADAS测试设备RT3000介绍及数据处理

目录 一、分析目的 二、数据采集仪器 三、数据文件 1.数据样本名词解释 2.数据应用 3.简单举例 汽车数据分析示例 1. 行驶轨迹与路径优化 2. 速度与加速度分析 3. 燃油效率与能耗分析 4. 驾驶行为与安全分析 5. 车辆维护与故障诊断 评估导航与定位的准确性。 一、…

测试工程师职业道路管理方向有哪些

目录 01测试组长 测试组长的职责及掌握技能: 测试组长需要掌握的技能: 02测试经理 测试经理具备的职责: 测试经理具备的技能: 03测试总监 测试总监具备的职责: 测试总监具备的技能: 测试工程师管理…

蚓链数字化生态系统:助力企业上下游资源的强大引擎

在当今数字化浪潮汹涌的时代,集团型企业面临着日益复杂的市场环境和激烈的竞争挑战。如何有效地拉通产业上下游资源,实现协同发展,成为了众多企业亟待解决的关键问题。而蚓链数字化生态系统的出现,犹如一道曙光,为集团…

前端工程化12-Git版本控制工具详解

2.1、Git知识概述 理解版本控制工具,聊下他的历史,之后会讲两种版本控制工具的区别(集中式|分布式)、他的基本环境搭建安装,如何初始化本地仓库,如何往仓库里提交一些东西,文件的话会有那些变化…

文本相似度 HanPL汉语言处理

文章目录 前言需求简介实操开始1. 添加pom.xml依赖2. 文本相似度工具类3. 案例验证4. 验证结果 总结 前言 请各大网友尊重本人原创知识分享,谨记本人博客:南国以南i、 提示:以下是本篇文章正文内容,下面案例可供参考 需求 当我…

【redis 第五篇章】持久化之AOF和RDB

一、概述 Redis 是内存数据库,如果不能将内存中的数据保存到磁盘中,那么一旦服务器进程退出,数据库中数据会消失,所以 Redis 提供了持久化的功能, Redis 分为两种持久化方式:RDB 和 AOF,有以下几个特点&am…

荟萃科技:国外问卷调查有没有实时更新的题库?

有的,口子查和渠道查都是。 口子查的题目都是国外的公司发放在网络上,都是实时发布,所以我们需要去国外的各大社交平台做题。 这些题目不是集中的,而是散布在网站里面,需要我们去找,都是老外上班实时发放…

数据结构(其二)--线性表(其三)

目录 11.特殊矩阵的压缩存储 (1).一维数组的储存结构 (2).二维数组的存储结构 (3).普通矩阵的存储 (4).特殊矩阵的压缩存储 i.对称矩阵 ii.三角矩阵 iii.三对角矩阵 iiii.稀疏矩…

社科经管类:7本期刊被标记为“On Hold”状态!

本周投稿推荐 SCI&EI • 4区“水刊”,纯正刊(来稿即录) • CCF-B类,IEEE一区-Top(3天初审) EI • 各领域沾边均可(2天录用) 知网(CNKI)、谷歌学术 …

Github 2024-08-05 开源项目周报 Top15

根据Github Trendings的统计,本周(2024-08-05统计)共有15个项目上榜。根据开发语言中项目的数量,汇总情况如下: 开发语言项目数量Go项目4JavaScript项目3Python项目3Java项目2TypeScript项目2C项目1Shell项目1Dockerfile项目1非开发语言项目1免费编程学习平台:freeCodeCamp…

2.2 (2) 调度算法

文章目录 调度算法的评价指标CPU利用率系统吞吐量周转时间等待时间响应时间总结 典型的调度算法先来先服务(FCFS)短作业优先(SJF)高响应比优先(HRRN)时间片轮转调度算法优先级调度算法多级反馈列队调度算法…

动态规划:打家劫舍系列

目录 1. 打家劫舍1(线性数组)(LeetCode198) 解法1:动态规划(二维dp数组) 解法2:动态规划(一维dp数组) 解法3:动态规划(一维dp数组优化) 2. 打家劫舍2(环形数组)…

信号处理——自相关和互相关分析

1.概括 在信号处理中,自相关和互相关是相关分析非常重要的概念,它们能分析一个信号或两个信号在时间维度的相似性,在振动测试分析、雷达测距和声发射探伤得到了广泛的应用。自相关分析的研究对象为一个信号,互相关分析的研究对象…

spring原理(第八天)

aop的实现原理 AOP 底层实现方式之一是代理,由代理结合通知和目标,提供增强功能 除此以外,aspectj 提供了两种另外的 AOP 底层实现: 第一种是通过 ajc 编译器在编译 class 类文件时,就把通知的增强功能,织…

Linux之文件系统

个人主页:点我进入主页 专栏分类:C语言初阶 C语言进阶 数据结构初阶 Linux C初阶 算法 C进阶 欢迎大家点赞,评论,收藏。 一起努力,一起奔赴大厂 目录 一.磁盘 二.对磁盘进行管理 三.通过inode找到文件…

Netty的几种IO模式的实现与切换

写在文章开头 今天我们就基于Netty来简单聊聊开发中几种常见的IO模式以及Netty对于这几种IO模式的实现,希望对你有帮助。 Hi,我是 sharkChili ,是个不断在硬核技术上作死的 java coder ,是 CSDN的博客专家 ,也是开源项…

如何在RabbitMQ中防止消息丢失

如何在RabbitMQ中防止消息丢失 在分布式系统中,消息的可靠传递是至关重要的。RabbitMQ作为一个强大的消息队列系统,提供了多种机制来确保消息不会丢失。本文将介绍在RabbitMQ中防止消息丢失的几种方法。 消息确认机制 消息发布确认 在RabbitMQ中&…