最新AI模型与Python技术处理和分析气候数据:ChatGPT在大气科学领域建模、数据分析、可视化与资源评估中的高效应用及论文写作

news2024/11/24 16:59:38

本文深度探讨人工智能在大气科学中的应用,特别是如何结合最新AI模型与Python技术处理和分析气候数据。课程介绍包括GPT-4等先进AI工具,旨在帮助大家掌握这些工具的功能及应用范围。课程内容覆盖使用GPT处理数据、生成论文摘要、文献综述、技术方法分析等实战案例,使学员能够将AI技术广泛应用于科研工作。特别关注将GPT与Python结合应用于遥感降水数据处理、ERA5大气再分析数据的统计分析、干旱监测及风能和太阳能资源评估等大气科学关键场景。旨在提升参与者在数据分析、趋势预测和资源评估等方面的能力,激发创新思维,并通过实践操作深化对AI在气象数据分析中应用的理解。

专题一、预备知识

1、AI领域常见工具模型讲解

1.1.OpenAI模型-GPT-4

1.2.谷歌新模型-Gemini

1.3.Meta新模型-LLama

1.4.科大讯飞-星火认知

1.5.百度-文心一言

1.6.MoonshotAI-Kimi

2、POE平台及ChatGPT使用方法

2.1.POE使用方法

2.2.ChatGPT使用方法

图片

3、提示词工程

3.1.提示词工程介绍

3.2.提示词工程讲解

3.3.提示词常见模板

4、Python简明教程

4.1.Python基本语法

4.2.Numpy使用

4.3.Pandas使用

4.4.Xarray使用

4.5.Matplotlib使用

专题二、科研辅助专题

1、GPT作为科研工具

1.1把GPT当作搜索引擎

图片

1.2把GPT当作翻译软件

图片

1.3把GPT当作润色工具

图片

1.4用GPT提取整理文章数据

1.5用GPT数据处理

2.GPT作为科研助手生成

2.1用GPT分析结果

2.2用GPT总结生成论文摘要

2.3用GPT总结生成文献综述

2.4用GPT分析论文技术方法

2.5用GPT分析代码

图片

2.6用GPT分析论文公式

2.7用GPT识别图片并分析

2.8 DIY:上传本地PDF资料

用GPT分析相关资料中提出问题。

用GPT总结评价(评阅、审稿意见)

3、GPT作为辅助工具下载数据

3.1使用GPT生成PERSIANN /GSMaP数据的下载代码

图片

3.2使用GPT生成代码下载GSOD数据

图片

3.3使用GPT生成代码下载NCEP/NCAR再分析数据

图片

3.4使用GPT生成代码下载GFS预报数据

图片

专题三、可视化专题——基于GPT实现

1、绘制常见统计图

2、绘制风场图、风羽图、风矢图、流线图

图片

3、通过GPT绘制双Y轴

图片

4、风玫瑰图

图片

5、.填充图

图片

6、绘制添加子图

图片

7、绘制期刊常见图

图片

专题四、站点数据处理

使用GPT处理/生成相应代码,实现下列目标:

1、读取数据

1.1读取多种来源原始数据(ISD、GSDO)

2、缺失值处理

2.1缺失值统计

2.2常见统计方法缺失值填补

2.3机器学习方法填补数据

3、数据质量控制

3.1基于统计阈值的异常检测

3.2基于机器学习的异常检测(Isolation Forest等方法)

3.3多变量数据的异常检测(服务于自动气象站数据)

3.4基于时间序列方法均一化检验(服务于长时间气候变化评估)

4、时间序列的趋势

4.1移动平均法

4.2分解法(STL, Seasonal and Trend decomposition using loess)

4.3Sen’s斜率

5、时间序列的突变检验

5.1 MK (Mann-Kendall): Mann-Kendall趋势检验(用于分析数据集中的趋势变化)

5.2 Pettitt: Pettitt检验(非参数检验方法,用于检测时间序列中的单一变化点)

5.3 BUT (Buishand U Test): Buishand U型统计检验

5.4 SNHT (Standard Normal Homogeneity Test): 标准正态同质性检验(常用于气候数据的同质性检测)

5.5 BG (Buishand Range Test): Buishand范围检验

6、时间序列周期分析

6.1功率谱方法提取周期(提取气温、降水等周期)

图片

6.2小波分析方法提取周期

图片

6.3 EMD经验模态分解

图片

6.4 EEMD集成经验模态分解

7、时间尺度上的统计

7.1不同时间尺度上的统计

8、回归分析

8.1线性回归(Linear Regression):简单线性回归、多元线性回归等

8.2多项式回归(Polynomial Regression):

8.3非参数回归(Non-parametric Regression):

9、相关分析

9.1常见的相关系数(Pearson Correlation Coefficient、Spearman's Rank Correlation Coefficient)

9.2偏相关分析(Partial Correlation)

图片

9.3典型相关分析(Canonical Correlation Analysis, CCA)

图片

10、站点数据的空间化:

10.1克里格插值

10.2临近点插值

10.3反距插值

图片

10.4 基于高程模型的外推

图片

专题五、WRF专题——基于GPT和Python实现

1、静态数据的替换

1.1使用Python生成WPS的静态数据

A替换反照率和LAI数据

GPT生成转化GLASS(The Global Land Surface Satellite (GLASS) Product suite)替换默认粗分辨率数据。

B替换土地利用

GPT将多分类的ECI CCI土地利用数据分类进行整合,使之能够用于WPS系统;GPT生成转化代码,将数据转化为WPS可读取的二进制格式。

使用Python更改WRF初始场

GPT生成代码修改WRF初始场文件,并替换土地利用、地表反照率等静态数据。

2、生成WRF配置文件

2.1在指定的地区推荐WRF namelist.input文件相关参数

2.2补全相关参数信息

3、WRF的后处理

3.1站点插值

3.2能见度计算

3.3垂直高度变量插值

3.4降水相态辨识

3.5水汽通量

4、WRF的评估

4.1格点尺度评估

4.2点尺度评估

4.3模态评估

图片

专题六、遥感降水专题——基于GPT和Python实现

1、将PERSSIAN/GSMaP数据转化为netCDF格式

2、合并数据

3、时间域统计并可视化

4、空间域统计并可视化

5、常见统计评估指标

生成统计指标空间图

生成泰勒图

生成卫星降雨散点密度图

图片

图片

专题七、再分析数据专题——基于GPT和Python实现

1、ERA5再分析数据

1.1 ERA5数据的下载

1.2 ERA5数据预处理

1.3多时间尺度统计

1.4干旱监测

计算标准化降水蒸散指数(SPEI)或标准化降水指数(SPI)作为干旱监测的指标。

根据土壤湿度和降水量数据,使用时间序列分析和阈值判断来评估干旱风险等级。

1.5极端指数计算

连续干旱天数

夏日指数

R99极端降水指数等

1.6趋势分析

滑动平均

累积距平

趋势分析代码

时间序列分析

2、多套再分析数据的气候趋势分析

2.1对比NCEP/NCAR、ERA5、CRU等均值

2.2趋势分析

3、风能资源评估

3.1计算研究区域内多年的平均风速

3.2计算风速的季节性变化和年际变异性

3.3计算空气密度

3.4计算盛行风

3.5计算风功率

3.6计算weibull分布

3.7基于站点和WRF模式的分析

图片

3.8基于ERA5计算风功率

图片

4、太阳能资源评估

4.1计算每天的平均太阳辐射量

4.2分析日、月和季节性气候态时空格局

4.3计算趋势

专题八、CMIP6未来气候专题——基于GPT和Python实现

1、数据预处理:

1.1使用NetCDF工具(xarray)读取数据

1.2裁剪时间范围和空间范围

2、计算区域平均温度:

2.1对于全球平均温度加权平均

2.2对于特定区域,直接计算平均值

3、趋势分析:

3.1使用统计方法(如线性回归)分析温度随时间的变化趋势

4.可视化:

4.1绘制时间序列图显示温度趋势

4.2使用地图可视化工具(basemap)展示空间分布的变化

图片

专题九、基于机器学习方法判断天气晴雨——基于GPT和Python实现机器学习操作流程 1、预处理

1.1缺失值处理:使用适当的策略填充或删除数据中的缺失值

1.2数据探索:通过统计摘要、可视化方法(如直方图、箱线图)来理解数据的分布、异常值情况和变量之间的关系

1.3数据标准化/归一化

1.4数据类型转换:将分类变量转换为数值型,使用独热编码(One-Hot Encoding)或标签编码(Label Encoding)

2、数据采样

2.1均衡采样:对不平衡的数据集进行重采样,确保各类别样本数量大致相同 

2.2分层抽样:确保训练集和测试集中各类别样本的比例与原数据集相同,使用分层采样技术。

2.3交叉验证分割:采用交叉验证的方法来进行更可靠的模型评估,如K折交叉验证,保证每个样本被用于训练和验证。

2.4时间序列分割:对于时间序列数据,使用时间顺序分割数据,确保训练集中的数据点时间上早于测试集中的数据点。

3、特征工程

3.1特征选择:使用统计测试、模型系数或树模型的特征重要性来选择最有信息量的特征

3.2降维:使用主成分分析(PCA)、线性判别分析(LDA)等方法减少特征的维度

3.3多项式特征:生成特征的多项式组合,如平方项、交互项,以捕捉特征之间的非线性关系

4、模型建模与堆叠

4.1单模型训练:如决策树、SVM、随机森林。

4.2模型堆叠:使用mlxtend库或自定义方法实现模型堆叠,结合不同模型的预测结果作为新的特征,训练一个新的模型。

4.3调参:使用网格搜索(GridSearchCV)或随机搜索(RandomizedSearchCV)等方法优化模型参数。

4.4集成学习:除了堆叠,还可以探索其他集成方法,如Bagging和Boosting,以提高模型的稳定性和准确性。

5、模型评估

5.1性能指标:根据问题类型(分类或回归)选择合适的评估指标,如准确度、召回率、F1分数、AUC值、均方误差

5.2模型解释性:使用SHAP对模型的预测进行解释,提高模型的可解释性

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1591619.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

力扣2923、2924.找到冠军I、II---(简单题、中等题、Java、拓扑排序)

目录 一、找到冠军I 思路描述: 代码: 二、找到冠军II 思路描述: 代码: 一、找到冠军I 一场比赛中共有 n 支队伍,按从 0 到 n - 1 编号。 给你一个下标从 0 开始、大小为 n * n 的二维布尔矩阵 grid 。对于满足…

DNF手游攻略:2024新手攻略大全

在《DNF手游》的世界中,前期阶段对于新手玩家来说至关重要。以下是一份综合整理的新手攻略,帮助玩家快速适应游戏并取得进展。 1. 角色建立策略: 在前期,建议玩家建立3个角色,包括1个大号和2个小号。大号可以根据个人喜…

从电子病历(EMRs)构建医学知识图谱

从电子病历 EMRs 构建医学知识图谱 提出背景传统的三元组结构本研究采用的四元组结构第四元作用第四元类型以往的方法本研究的方法 大威天龙八 论文:Real-world data medical knowledge graph: construction and applications 提出背景 本研究在中国一家三甲医院的…

【GD32】MQ-5液化气检测传感器

2.33 MQ-5液化气检测传感器 MQ-5气体传感器所使用的气敏材料是在清洁空气中电导率较低的二氧化锡(Sno2)。当传感器所处环境中存在可燃气体时,传感器的电导率随空气中可燃气体浓度的增加而增大。使用简单的电路即可将电导率的变化转换为该气体浓度相对应的输出信号。…

ExpressLRS硬件实测性能分析

ExpressLRS硬件实测性能分析 1. 源由2. 远航测试3. 实验室测试3.1 芯片RSSI与实测功率差异3.2 SNR信噪比稳定3.3 140db衰减器衰减,40个频点信号稳定 4. 外场测试4.1 无屏蔽样品4.2 有屏蔽样品4.3 有屏蔽vs无屏蔽样品 5. 估算6. 总结7. 补充说明 -- 50mW视频 1. 源由…

1.3 字符设备驱动

1、字符设备驱动工作原理 2、file_operations结构体 struct file_operations { struct module *owner; //拥有该结构的模块的指针,一般为THIS_MODULES loff_t (*llseek) (struct file *, lof…

【日常记录】【CSS】生成动态气泡小球

文章目录 1、分析2、实现 1、分析 核心有两点&#xff0c;通过这两个不一样就可以实现每个小球的颜色、动画时间不一致 给每个元素都设置一个css 变量 bgc 用于控制每一个小球的颜色给每个元素都设置一个css 变量 duration 用于控制每一个小球的时间 2、实现 <!DOCTYPE ht…

java中的线程通讯和线程池,Callable任务

线程通讯&#xff1a; 在多线程中&#xff0c;某个线程进入“等待状态”时&#xff0c;需要某个线程来唤醒 等待方法&#xff1a; wait()//无线等待 wait(long 毫秒)//计时等待 注意&#xff0c;调用wait方法&#xff0c;会自动释放掉锁资源 处于wait状态只能由其他线程唤醒 唤…

信创产品适配的前因后果

“信创”的本意是指“信息技术应用创新”。这个概念最早来源于“信创工委会”&#xff08;信息技术应用创新工作委员会&#xff09;&#xff0c;一个由24家专业从事软硬件关键技术研究及应用的国内单位&#xff0c;在2016年共同发起成立的非营利性社会组织。近些年来&#xff0…

GitHub repository - commits - branches - releases - contributors

GitHub repository - commits - branches - releases - contributors 1. commits2. branches3. releases4. contributorsReferences 1. commits 在这里可以查看当前分支的提交历史。左侧的数字表示提交数。 2. branches 可以查看仓库的分支列表。左侧的数字表示当前拥有的分…

android studio 网络请求okhttp3、okgo

一、在build.gradle文件里添加 implementation com.squareup.okhttp3:okhttp:4.9.0 implementation com.squareup.okhttp3:okhttp:3.12.0 implementation com.squareup.okio:okio:1.17.4 implementation com.lzy.net:okgo:3.0.4 implementation com.alibaba:fastjson:1.2.57 i…

25、链表-环形链表

思路&#xff1a; 这道题就是判断链表中是否有环&#xff0c;首先使用集合肯定可以快速地解决&#xff0c;比如通过一个set集合遍历&#xff0c;如果遍历过程中有节点在set中已经存在那么说明存在环。 第二种方式就是通过快慢指针方式寻找环。具体思路就是一个慢指针每次直走一…

Android适配平板屏幕尺寸

一、划分手机和平板 人为判断方法: 大于6英寸的就是平板。小于6英寸的都是手机 平板尺寸&#xff1a; 6英寸、7英寸、10英寸、14英寸… Android系统支持多配置资源文件&#xff0c;我们可以追加新的资源目录到你的Android项目中。命名规范&#xff1a; 资源名字-限制符 l…

2024年MathorCup数学建模B题甲骨文智能识别中原始拓片单字自动分割与识别研究解题文档与程序

2024年第十四届MathorCup高校数学建模挑战赛 B题 甲骨文智能识别中原始拓片单字自动分割与识别研究 原题再现&#xff1a; 甲骨文是我国目前已知的最早成熟的文字系统&#xff0c;它是一种刻在龟甲或兽骨上的古老文字。甲骨文具有极其重要的研究价值&#xff0c;不仅对中国文…

Go程序设计语言 学习笔记 第十一章 测试

1949年&#xff0c;EDSAC&#xff08;第一台存储程序计算机&#xff09;的开发者莫里斯威尔克斯在他的实验室楼梯上攀登时突然领悟到一件令人震惊的事情。在《一位计算机先驱的回忆录》中&#xff0c;他回忆道&#xff1a;“我突然完全意识到&#xff0c;我余生中的很大一部分时…

2024妈妈杯mathorcup数学建模C题 物流网络分拣中心货量预测及人员排班

一、数据预处理 数据清洗是指对数据进行清洗和整理&#xff0c;包括删除无效数据、缺失值填充、异常值检测和处理等。数据转换是指对数据进行转换和变换&#xff0c;包括数据缩放、数据归一化、数据标准化等。数据整理是指对数据进行整理和归纳&#xff0c;包括数据分组、数据聚…

一文读懂Java中的WebEndpointProperties类(附Demo)

目录 前言1. 基本知识2. Demo3. 彩蛋 前言 对于Java的相关知识&#xff0c;推荐阅读&#xff1a;java框架 零基础从入门到精通的学习路线 附开源项目面经等&#xff08;超全&#xff09; 1. 基本知识 Spring Boot 的配置类 WebEndpointProperties&#xff0c;用于配置 Web 端…

【python】基于pyttsx3库的字符串转音频文件

一、源码 import pyttsx3 engine pyttsx3.init() engine.setProperty(volume, 0.8) engine.setProperty(rate, 150) engine.save_to_file("Hello, World!", "output.mp3") engine.runAndWait()二、介绍 使用pyttsx3库&#xff0c;设置声音与速率&#x…

RTR3学习笔记

目录 引言第二章、图形渲染管线2.1 图形渲染管线架构概述&#xff08;1&#xff09;渲染管线的主要功能&#xff08;2&#xff09;渲染结果是由输入对象相互作用产生的&#xff08;3&#xff09;图像渲染管线的三个阶段&#xff08;4&#xff09;其他讨论 2.2 应用程序阶段&…

SpringBoo利用 MDC 机制过滤出单次请求相关的日志

&#x1f3f7;️个人主页&#xff1a;牵着猫散步的鼠鼠 &#x1f3f7;️系列专栏&#xff1a;Java全栈-专栏 &#x1f3f7;️个人学习笔记&#xff0c;若有缺误&#xff0c;欢迎评论区指正 目录 1.前言 2.MDC 是什么 3.代码实战 4.总结 1.前言 在服务出现故障时&#xff…