如何利用Python处理站点数据、格点观测数据、再分析ERA5;GLDAS、遥感数据、水文数据、气象数据、陆面模式数据、气候变化数据等

news2024/11/26 9:32:00

Python是功能强大、免费、开源,实现面向对象的编程语言,Python能够运行在Linux、Windows、Macintosh、AIX操作系统上及不同平台(x86和arm),Python简洁的语法和对动态输入的支持,再加上解释性语言的本质,使得它在大多数平台上的许多领域都是一个理想的脚本语言,特别适用于快速的应用程序开发。Python具有丰富和强大的库,能够把用其他语言制作的各种模块(尤其是C/C++)很轻松地联结在一起。除了Python标准库,几乎所有行业领域都有相应的Python软件库,随着NumPy、SciPy、Matplotlib和Pandas等众多Python应用程序库的开发,Python在科学和工程领域地位日益重要,在数据处理、科学计算、数学建模、数据挖掘和数据可视化方面的优异性能使得Python在地球科学中地理、气象、气候变化、水文、生态、传感器等领域的学术研究和工程项目中得到广泛应用并高效解决各种数据分析问题,可以预见未来Python将成为科学和工程领域的主流程序设计语言。

1、提供虚拟机(Virtual Box)文件(预装好Anaconda环境,可直接使用)
2、提供原始数据和中间临时文件

专题一 Python重点工具讲解【打好基础】

Numpy:科学计算 Scipy:科学计算 Sklearn:机器学习 Matplotlib:可视化 Cartopy:地理数据可视化

GeoPandas:地理数据分析

专题二 常见地球科学数据讲解【掌握数据的特点】

1、站点数据 GSOD GHCN ISMN:国际土壤湿度测量网络数据

FLUXNET:全球通量观测网络数据

2、格点观测数据 CRU

CN05.1 OISST、HadSST

3、再分析 ERA5 GLDAS

4、遥感数据 GLEAM

Landsat

MODIS

TRMM

SMAP:土壤湿度主动被动遥感数据

专题三 使用Xarray处理netCDF和Geotiff数据

Xarray 读取&写入 netCDF文件 Groupby & resample 对时间、空间信息进行操作 Rasterio & rioxarray

专题四 使用Pysat进行大空间分析

1. 空间自相关分析 分析干旱事件发生的空间聚集性
2. 空间回归模型 建模气温与地形因素的空间关系 GWR模型评估地形对降水分布的局部影响 
3. 空间点模式分析 探测极端天气事件的热点区域
4. 时空数据分析 评估城市热岛效应的时空演化

专题五 使用Dask进行大数据并行计算

使用Dask进行大数据并行计算 Arrays、DataFrames 无结构数据的并行处理 延迟计算
案例一:并行处理长时间序列的TRMM降水数据,识别极端降水事件的时空分布特征
案例二:利用Dask并行计算,快速监测全球范围内干旱的发生、发展和持续时间

专题六 使用Pandas分析时间序列数据-1

案例一:时间序列填补

案例二:极端风速重现期分析

案例三:台风个数统计

专题七 使用Pandas分析时间序列数据-2

1、环流指数与温度、降水变化的关联性 各环流指数对全球及区域温度变化的影响 环流指数与极端高温/低温事件的联系 环流指数与干旱/洪水事件的关联 环流指数对季风系统的影响

2、空间插值 使用Kriging进行站点数据插值  使用IDW插值生成高分辨率气温场

3、缺测数据插补 针对地面站点数据中的缺失值进行插补 利用机器学习算法插补遥感数据中的缺测像元 结合空间插值和时间插值等多种方法提高数据质量

专题八 使用Python处理遥感数据1以Landsat数据为例

1、大数据的可视化 GB级数据可视化
2、植被指数计算

3、裁剪区域 使用mask掩膜文件裁剪 使用shapefile文件裁剪

专题九 使用Python处理遥感数据2—以MODIS数据为例

1、预备工作: Python读取HDF4-EOS数据 使用GDAL库预处理 转投影为wgs84+lonlat 拼接多景影像

2、案例一:土地利用分析(MOD12C1) 2000-2020年青藏高原土地利用分析 分析不同土地利用分类上气温和降水的变化

3、案例二:生态系统生产力分析(MOD17A2) 青藏高原草场上土地利用GPP变化 分析草场GPP与降水之间关系(ERA5再分析数据)

4、案例三:分析积雪覆盖时间(MOD10A2) 2000-2020年间青藏高原积雪时间统计 分析祁连山不同高程带积雪时间统计(DEM:GTOP30S)

5、案例四:积雪与生产力之间的关系(MOD10A2和MOD17A2) 分析新疆北疆积雪覆盖时间与春季GPP的变化

专题十 使用Python处理站点数据以GSOD和气象共享网数据为例

1、数据的读取 读取美国NOAA的GSOD日值数据 读取气象共享网日值数据
2、数据清洗: 数据整理 异常值检测 阈值法 模型法 孤立森林
3、多时间尺度的统计: 年尺度统计 季尺度统计
4、站点插值:(随机森林树) 利用高程、经纬度插值气温数据

专题十一 使用Python处理遥感水文数据以TRMM遥感降水数据和GLEAM数据等为例

案例一:空间降尺度 使用NDVI、DEM和机器学习算法对TRMM降水数据降尺度

案例二:分析蒸散数据的年际变化 读取GLEAM数据,并分析蒸散发的年际变化 比较MODIS ET产品与GLEAM的差异

案例三:使用随机森林算法估算地表蒸散发 GLEAM和ERA5数据建立机器学习估算模型 在区域尺度上进行长时间序列模拟

案例四:比较多套土壤湿度产品 比较GLDAS、GLEAM和CCI SM

案例五:分析降水~蒸散发-土壤湿度关系 分析降水~蒸散发-土壤湿度的年际变化

专题十二 使用Python处理遥感和模式数据以PKU GIMMS NDVI遥感降水数据和GLDAS数据为例

案例一:结合GIMMS NDVI和陆面模式数据分析干旱影响 获取陆面模式模拟的土壤湿度数据 建立植被生产力与干旱的响应关系 评估不同地区的干旱敏感性

案例二:青藏高原地区干旱对高寒草地生态系统的影响 基于NDVI识别青藏高原历史干旱年份 结合GLDAS模拟的土壤温湿度等数据,分析干旱对植被的影响机制

专题十三 使用Python处理气候变化数据1观测数据

案例一:百年气温趋势:CRU数据

案例二:百年海温趋势:HadSST

案例三:再分析数据处理 ERA5数据气温评估

专题十四 使用Python进行气候诊断分析

在GHCN站点数据基础上 使用Mann-Kendall趋势检验 使用Mann-Kendall突变分析 和Sen's slope估计气候变化趋势 使用小波分析等分析周期

专题十五 使用Python处理气候变化数据2 以CMIP6数据为例

降尺度 Delta方法 百分位校正方法

案例一:计算极端气候指数
案例二:未来气候变化背景下中国地区GPP变化(CMIP6+MOD17+机器学习)
案例三:未来气候变化背景下中国地区土地利用变化

专题十六 使用Python对WRF模式数据后处理

案例一:空间坐标重采样
案例二:风速垂直高度插值 获取风机70和100m高度的风速和风向

专题十七 使用Python运行生态模型 以CN05.1数据和Biome-BGC生态模型为例

1、模型讲解 2、气象数据的准备 3、控制文件生成 4、模式的运行 Muliprocesing 并行运行 5、模式后处理 结果统计 结果可视化(NPP)

注:请提前自备电脑及安装所需软件


数据福利

赠送ERA5-LAND陆面再分析数据(5T左右)  
时间分辨率:hourly
空间分辨率:0.1°(等角lonlat投影+wgs84)
包含11个变量:温度、气压、辐射、蒸发、降水、湿度【详情见数据说明文件】

赠送ERA5大气再分析数据WRF驱动数据(28T左右)  
时空分辨率:0.25˚/hourly
时空覆盖:1940-2024/东亚范围

赠送FNL大气再分析数据WRF驱动数据  
时空分辨率:0.25˚/hourly
时空覆盖:1940-2024/东亚范围

赠送ERA5大气再分析数据地面数据  
时空分辨率:0.25˚/hourly
时空覆盖:1940-2024/东亚范围
包含变量:2m温度、地表气压、2m比湿、UV10m风速、土壤温湿度(4层)

赠送ERA5大气再分析数据大气数据(900G+)
时空分辨率:0.25˚/monthly
时空覆盖:1959-2021/全球范围
包含变量:大气分层的散度、云量分数 、地势高度、臭氧质量混合比、势能涡度、相对湿度、特定云冰水含量、特定云液态水含量、比湿、特定雨水含量、特定雪水含量、温度、风的U分量、风的V分量、垂直速度。

赠送ERA5大气再分析数据大气数据(4.7TB+)
时空分辨率:0.1˚/hourly
时空覆盖:1979-2022/亚洲东部[90-150E,30N-30S]
包含变量:2米露点温度、2米温度、裸土蒸发量、冠层顶部蒸发量、潜在蒸发量、土壤温度/水分(四层)、地表净热辐射、地表压力、地表向下太阳辐射、蒸发量、总降水量、土壤水分。

赠送CMIP5/6月尺度陆面气象数据(50G+)
包含变量:地面数据(温、压、湿、风、辐射和降水)
包含情景:historical(1850-2014)、ssp126(2015-2100)、ssp245(2015-2100)、ssp370(2015-2100)、ssp585(2015-2100)

赠送CMIP6月尺度生态相关数据
包含变量:陆面生态系统过程数据(NPP、NEP、GPP)
包含模型:10~17个模型不等
包含情景:historical(1950-2014)、ssp126(2015-2100)、ssp245(2015-2100)、ssp370(2015-2100)、ssp585(2015-2100)

赠送CMIP6日数据(1.8T+)
包含变量:地面数据(温、压、湿、风、辐射和降水)
包含模型:12个
包含情景:historical(1960-2014)、ssp126、ssp245、ssp370、ssp585

赠送CMIP6中德国MPI-ESM1-2-LR模式用于WRF的数据(1.5T+)
时空分辨率:0.25˚/monthly
包含情景:historical(1950-2014)、ssp126(2015-2100)、ssp245(2015-2100)、ssp370(2015-2100)、ssp585(2015-2100)
格式:netCDF;GRIB(单独联系)


更多应用

ChatGPT4.0最新功能和使用技巧,助力日常生活、学习与工作!_chat gpt 4.0 数据-CSDN博客文章浏览阅读916次,点赞9次,收藏18次。熟练掌握ChatGPT4.0在数据分析、自动生成代码等方面的强大功能,系统学习人工智能(包括传统机器学习、深度学习等)的基础理论知识,以及具体的代码实现方法,同时掌握ChatGPT4.0在科研工作中的各种使用方法与技巧,以及人工智能领域经典机器学习算法(BP神经网络、支持向量机、决策树、随机森林、变量降维与特征选择、群优化算法等)和热门深度学习方法(卷积神经网络、迁移学习、RNN与LSTM神经网络、YOLO目标检测、自编码器等)的基本原理及Python、PyTorch代码实现方法。_chat gpt 4.0 数据https://blog.csdn.net/WangYan2022/article/details/139134786?spm=1001.2014.3001.5502ChatGPT-4o赋能科研:自然科学研究的新篇章-CSDN博客文章浏览阅读546次,点赞13次,收藏11次。以ChatGPT-4o代表AI大语言模型引领了新一波人工智能浪潮,也在自然科学各个过程中提升生产力,通过生物、地球、农业、气象、生态、环境、GIS科学领域中的大量案例,结合数据、文本、图片、代码、语音、视频等不同形式的数据、模式和内容,讲解自然科研的全流程,通过大模型辅助编写Python和R语言代码以及大模型API二次开发等技术对案例进行实现,带领大家快速进入科研新范式。https://blog.csdn.net/weixin_46747075/article/details/139680504?spm=1001.2014.3001.5501★关 注【科研充电吧】公 众 号,获取海量教程和资源

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1835180.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

ECharts 蓝色系-荧光图标折线图01案例

ECharts 蓝色系-荧光图标折线图01案例 图表意义 本折线图案例展示了一周内不同路线的使用情况或数据统计。通过折线的上升和下降,可以直观地观察到每条路线的流量或数据变化趋势,从而进行分析和决策。 效果预览 效果图展示不同路线的数据统计和个性化…

下载依赖有问题(只有自己有问题)

有缓存! 删除node_modules 命令:npm run clean 前提是该项目支持这个命令:package.json > scripts 内有 clean 例如下面这个就没有clean,则直接手动删除 清除缓存 npm cache clean --force pnpm store prune删除lock文件 …

Linux——ansible剧本

剧本(playbook) 现在,可以写各种临时命令 但如果,想把所有步骤,集合到一起,写到同一个文件里 让ansible自动按顺序执行 就必须要写“剧本” 剧本里面,也可以写临时命令,但是剧本…

AI辅助写作:如何高效完成毕业论文

写作这件事一直让我们从小学时期就开始头痛,初高中时期800字的作文让我们焦头烂额,一篇作文里用尽了口水话,拼拼凑凑才勉强完成。 大学时期以为可以轻松顺利毕业,结果毕业前的最后一道坎拦住我们的是毕业论文,这玩意不…

Nature发文介绍使用ChatGPT帮助学术写作的三种方式

文章链接:https://www.nature.com/articles/d41586-024-01042-3 一、介绍 这篇文章是由Dritjon Gruda撰写的,讨论了生成性人工智能(AI)在学术写作、编辑和同行评审中的三种应用方式。Gruda认为,尽管学术界对聊天机器…

opengauss安装postgis插件(Docker部署)

opengauss安装postgis插件 当然不管是安装opengauss还是给其安装插件,对其官方文档的解读是至关重要的,opengauss官网 点击最新开发版本进入快速入门链接。则可查看具体的各种指南。本次我使用的是极简版-容器安装。 下载源码并修改版本号 从官网的配置准备中可以发现,我们…

?? 与 || 在 JavaScript 中的微妙差别

起初,你可能会认为你可以随意替换任何你喜欢的人,对吗? 错误。他们并非你所想的那样。 我们必须一劳永逸地学习这个区别,以避免日后出现痛苦的错误。 这个差别是什么? 这是他们对待真值和假值的令人难以置信的对比。这…

这个是 2024 Idea最新激活码

idea的激活与安装 操作如下: ① 打开网站:https://web.52shizhan.cn 切换到:正版激活码,点击获取 ② 获取后的激活码,到idea里打开help->register 打开弹窗,如图 切换的activate code 输入激活码&…

Conmi的正确答案——Vue默认加载方式设置为Yarn后怎么修改

Vue版本:3 1和2主要是搜索文件所在位置,Windows的这个文件一般在“C:\User{当前用户}”下,linux的非root情况下一般在“/home/{当前用户}”下。 1、打开“Everything”; 2、搜索“vuerc”; 3、打开“.vuerc”&#xf…

【Java】已解决Java中的com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException异常

文章目录 一、分析问题背景二、可能出错的原因三、错误代码示例四、正确代码示例五、注意事项 已解决Java中的com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException异常 在Java中操作MySQL数据库时,我们经常会使用JDBC(Java Database Connectivi…

教你一招,一键学会NAS磁盘“净身出户”的好方法!

在毕业季这个充满离别与新的开始的时刻,空气中似乎也弥漫着一种“断舍离”的氛围。就在这个特殊的季节里,我们迎来了618购物节,各种诱人的优惠活动如雨后春笋般涌现。铁威马618优惠不断!T系列部分低至六折! 在这个热闹…

python--fasApi学习(Dash+FastAPI框架)

在学习fastApi 框架时,发现了一个好用的框架,参考: 博客参考: https://blog.csdn.net/gitblog_00002/article/details/137331157下载文档并部署: 下载代码: git clone https://gitee.com/insistence2022/…

KernelFuzzer部署、使用与原理分析

文章目录 前言1、概述1.1、整体架构1.2、工作流程1.2.1、环境配置流程1.2.2、计划任务执行流程1.2.3、Fuzz测试流程1.2.3.1、整体资源调度1.2.3.2、选取Fuzz测试目标1.2.3.3、生成Fuzz测试参数1.2.3.4、进行Fuzz测试 2、安装与使用2.1、源码安装2.1.1、部署系统依赖组件2.1.1.1…

AI大模型的策略布局:通用广度与垂直深度的融合之道

1. 设计理念: 通用大模型(GeneralPurpose Large Models):旨在处理多种类型的任务,不特定于某个领域或应用。它们通常具有广泛的知识和能力,能够理解和生成自然语言、进行图像识别、解决数学问题等。 1. 广…

权威!IDC《中国大模型市场主流产品评估,2024》报告发布

6月12日,国际数据公司 IDC 发布《中国大模型市场主流产品评估,2024》,从基础能力到应用能力 7 大维度对 11 家大模型厂商的 16 款市场主流产品进行实测。 结果显示,百度位于第一梯队,是唯一一家在7大维度上均为优势厂…

如何定位报错: indexSelectLargeIndex:... Assertion `srcIndex < srcSelectDimSize` fail

文章目录 1. 背景2. 准备工作2.1 debug工具2.2 设置准备工作 3. 开启 debug 1. 背景 在使用 cuda 在 gpu 计算的过程中&#xff0c;出现索引超过最大长度。 indexSelectLargeIndex:... Assertion srcIndex < srcSelectDimSize fail通常这种时候堆栈底部还伴随以下报错&…

【太原理工大学】软件系统安全—分析题

OK了&#xff0c;又是毫无准备的一场仗&#xff0c;我真是ありがとうございます 凸^o^凸 根据前几年传下来的信息&#xff0c;所谓“分析”&#xff0c;就是让你根据情节自行设计&#xff0c;例如如何设计表单等&#xff0c;这类多从实验中出&#xff0c;王老师强调好好做实验一…

浏览器加速播放视频技巧

当我们看网页中的视频时&#xff0c;想加速播放&#xff0c;但是选项最高只能2倍速时&#xff0c;还想再加快播放如何操作&#xff1f; 此时我们可以按F12打开浏览器开发者选项&#xff0c;然后点击控制台&#xff0c;在浏览器输入如下代码&#xff1a; document.querySelecto…

数据结构---排序算法

个人介绍 hello hello~ &#xff0c;这里是 code袁~&#x1f496;&#x1f496; &#xff0c;欢迎大家点赞&#x1f973;&#x1f973;关注&#x1f4a5;&#x1f4a5;收藏&#x1f339;&#x1f339;&#x1f339; &#x1f981;作者简介&#xff1a;一名喜欢分享和记录学习的…

Hype4.0 for Mac软件下载-Hype for Mac HTML5 创作工具下载附加详细安装步骤

Hype 4 Pro Mac正式版是款功能实用的动画创作工具。Hype 4 Pro Mac最新版可以帮您轻松创建令人惊叹的动画和交互式网页内容。并且Hype 4 Pro Mac还可被设计师用来创建动画&#xff0c;为网页、信息图形、演示文稿、数字杂志、广告、iBooks、教育内容、应用程序原型、作品集、动…