Python语言在地球科学中地理、气象、气候变化、水文、生态、传感器等数据可视化到常见数据分析方法的使用

news2024/9/23 11:16:54

Python是功能强大、免费、开源,实现面向对象的编程语言,Python能够运行在Linux、Windows、Macintosh、AIX操作系统上及不同平台(x86和arm),Python简洁的语法和对动态输入的支持,再加上解释性语言的本质,使得它在大多数平台上的许多领域都是一个理想的脚本语言,特别适用于快速的应用程序开发。Python具有丰富和强大的库,能够把用其他语言制作的各种模块(尤其是C/C++)很轻松地联结在一起。除了Python标准库,几乎所有行业领域都有相应的Python软件库,随着NumPy、SciPy、Matplotlib和Pandas等众多Python应用程序库的开发,Python在科学和工程领域地位日益重要,在数据处理、科学计算、数学建模、数据挖掘和数据可视化方面的优异性能使得Python在地球科学中地理、气象、气候变化、水文、生态、传感器等领域的学术研究和工程项目中得到广泛应用并高效解决各种数据分析问题,可以预见未来Python将成为科学和工程领域的主流程序设计语言。

1、提供虚拟机(Virtual Box)文件(预装好Anaconda环境,可直接使用)
2、提供原始数据和中间临时文件

专题一 Python重点工具讲解【打好基础】

Numpy:科学计算
Scipy:科学计算
Sklearn:机器学习
Matplotlib:可视化
Cartopy:地理数据可视化

GeoPandas:地理数据分析

专题二 常见地球科学数据讲解【掌握数据的特点】

1、站点数据
GSOD
GHCN
ISMN:国际土壤湿度测量网络数据

FLUXNET:全球通量观测网络数据

2、格点观测数据
CRU

CN05.1
OISST、HadSST

3、再分析
ERA5
GLDAS

4、遥感数据
GLEAM

Landsat

MODIS

TRMM

SMAP:土壤湿度主动被动遥感数据

专题三 使用Xarray处理netCDF和Geotiff数据

Xarray 读取&写入 netCDF文件
Groupby & resample 对时间、空间信息进行操作
Rasterio & rioxarray

专题四 使用Pysat进行大空间分析

1. 空间自相关分析
分析干旱事件发生的空间聚集性

2. 空间回归模型
建模气温与地形因素的空间关系
GWR模型评估地形对降水分布的局部影响 

3. 空间点模式分析
探测极端天气事件的热点区域

4. 时空数据分析
评估城市热岛效应的时空演化

专题五 使用Dask进行大数据并行计算

使用Dask进行大数据并行计算
Arrays、DataFrames
无结构数据的并行处理
延迟计算
案例一:并行处理长时间序列的TRMM降水数据,识别极端降水事件的时空分布特征
案例二:利用Dask并行计算,快速监测全球范围内干旱的发生、发展和持续时间

专题六 使用Pandas分析时间序列数据-1

案例一:时间序列填补

案例二:极端风速重现期分析

案例三:台风个数统计

专题七 使用Pandas分析时间序列数据-2

1、环流指数与温度、降水变化的关联性
各环流指数对全球及区域温度变化的影响
环流指数与极端高温/低温事件的联系
环流指数与干旱/洪水事件的关联
环流指数对季风系统的影响

2、空间插值
使用Kriging进行站点数据插值 
使用IDW插值生成高分辨率气温场

3、缺测数据插补
针对地面站点数据中的缺失值进行插补
利用机器学习算法插补遥感数据中的缺测像元
结合空间插值和时间插值等多种方法提高数据质量

专题八 使用Python处理遥感数据1以Landsat数据为例

1、大数据的可视化
GB级数据可视化

2、植被指数计算

3、裁剪区域
使用mask掩膜文件裁剪
使用shapefile文件裁剪

专题九 使用Python处理遥感数据2—以MODIS数据为例

1、预备工作:
Python读取HDF4-EOS数据
使用GDAL库预处理
转投影为wgs84+lonlat
拼接多景影像

2、案例一:土地利用分析(MOD12C1)
2000-2020年青藏高原土地利用分析
分析不同土地利用分类上气温和降水的变化

3、案例二:生态系统生产力分析(MOD17A2)
青藏高原草场上土地利用GPP变化
分析草场GPP与降水之间关系(ERA5再分析数据)

4、案例三:分析积雪覆盖时间(MOD10A2)
2000-2020年间青藏高原积雪时间统计
分析祁连山不同高程带积雪时间统计(DEM:GTOP30S)

5、案例四:积雪与生产力之间的关系(MOD10A2和MOD17A2)
分析新疆北疆积雪覆盖时间与春季GPP的变化

专题十 使用Python处理站点数据以GSOD和气象共享网数据为例

1、数据的读取
读取美国NOAA的GSOD日值数据
读取气象共享网日值数据

2、数据清洗:
数据整理
异常值检测
阈值法
模型法
孤立森林

3、多时间尺度的统计:
年尺度统计
季尺度统计

4、站点插值:(随机森林树)
利用高程、经纬度插值气温数据

专题十一 使用Python处理遥感水文数据以TRMM遥感降水数据和GLEAM数据等为例

案例一:空间降尺度
使用NDVI、DEM和机器学习算法对TRMM降水数据降尺度

案例二:分析蒸散数据的年际变化
读取GLEAM数据,并分析蒸散发的年际变化
比较MODIS ET产品与GLEAM的差异

案例三:使用随机森林算法估算地表蒸散发
GLEAM和ERA5数据建立机器学习估算模型
在区域尺度上进行长时间序列模拟

案例四:比较多套土壤湿度产品
比较GLDAS、GLEAM和CCI SM

案例五:分析降水~蒸散发-土壤湿度关系
分析降水~蒸散发-土壤湿度的年际变化

专题十二 使用Python处理遥感和模式数据以PKU GIMMS NDVI遥感降水数据和GLDAS数据为例

案例一:结合GIMMS NDVI和陆面模式数据分析干旱影响
获取陆面模式模拟的土壤湿度数据
建立植被生产力与干旱的响应关系
评估不同地区的干旱敏感性

案例二:青藏高原地区干旱对高寒草地生态系统的影响
基于NDVI识别青藏高原历史干旱年份
结合GLDAS模拟的土壤温湿度等数据,分析干旱对植被的影响机制

专题十三 使用Python处理气候变化数据1观测数据

案例一:百年气温趋势:CRU数据

案例二:百年海温趋势:HadSST

案例三:再分析数据处理

ERA5数据气温评估

专题十四 使用Python进行气候诊断分析

在GHCN站点数据基础上
使用Mann-Kendall趋势检验
使用Mann-Kendall突变分析
和Sen's slope估计气候变化趋势
使用小波分析等分析周期

专题十五 使用Python处理气候变化数据2 以CMIP6数据为例

降尺度
Delta方法
百分位校正方法

案例一:计算极端气候指数
案例二:未来气候变化背景下中国地区GPP变化(CMIP6+MOD17+机器学习)
案例三:未来气候变化背景下中国地区土地利用变化

专题十六 使用Python对WRF模式数据后处理

案例一:空间坐标重采样
案例二:风速垂直高度插值
获取风机70和100m高度的风速和风向

专题十七 使用Python运行生态模型 以CN05.1数据和Biome-BGC生态模型为例

1、模型讲解
2、气象数据的准备
3、控制文件生成
4、模式的运行
Muliprocesing 并行运行
5、模式后处理
结果统计
结果可视化(NPP)
注:请提前自备电脑及安装所需软件


更多应用

ArcGIS+ChatGPT双剑合璧:从数据读取到空间分析,一站式掌握GIS与AI融合的前沿科技!-CSDN博客文章浏览阅读908次,点赞18次,收藏10次。结合ArcGIS和GPT的优势,本教程将重点讲解AI大模型应用、ArcGIS工作流程及功能、Prompt使用技巧、AI助力工作流程、AI助力数据读取与处理、AI助力空间分析、AI助力遥感分析、AI助力二次开发、AI助力科研绘图以及ArcGIS与AI的综合应用。https://blog.csdn.net/WangYan2022/article/details/138335545?spm=1001.2014.3001.5502ChatGPT深度科研应用、数据分析及机器学习、AI绘图与高效论文撰写-CSDN博客文章浏览阅读865次,点赞25次,收藏26次。掌握ChatGPT4.0在科研工作中的各种使用方法与技巧,以及人工智能领域经典机器学习算法(BP神经网络、支持向量机、决策树、随机森林、变量降维与特征选择、群优化算法等)和热门深度学习方法(卷积神经网络、迁移学习、RNN与LSTM神经网络、YOLO目标检测、自编码器等)的基本原理及Python、PyTorch代码实现方法。https://blog.csdn.net/WangYan2022/article/details/137681275?spm=1001.2014.3001.5502AI大模型与ChatGPT的碰撞,在GIS、生物、地球、农业、气象、生态、环境科学领域案例应用-CSDN博客文章浏览阅读833次,点赞17次,收藏19次。AI大语言模型带来了新一波人工智能浪潮,可以面向科研选题、思维导图、数据清洗、统计分析、高级编程、代码调试、算法学习、机器/深度学习、大尺度模拟、论文检索、写作、翻译、润色、文献辅助阅读、文献信息提取、辅助论文审稿、新闻撰写、科技绘图、地学绘图(GIS地图绘制)、概念图生成、图像识别、教学课件、教学案例生成、基金润色、专业咨询、文件上传和处理、机器/深度学习训练与模拟、大模型API二次开发等特定任务,生成文本、图片、代码、语音、视频等不同形式的数据、模式和内容,成为不少科研工作者的第二大脑。https://blog.csdn.net/WangYan2022/article/details/137669575?spm=1001.2014.3001.5502★点 击 关 注,获取海量教程和资源

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1645343.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

U盘提示“被写保护”无法操作处理怎么办?

今天在使用U盘复制拷贝文件时,U盘出现“U盘被写保护”提示,导致U盘明明有空闲内存却无法复制的情况。这种情况很常见,很多人在插入U盘到电脑后,会出现"U盘被写保护"的提示,导致无法进行删除、保存、复制等操…

力扣每日一题110:平衡二叉树

题目 简单 给定一个二叉树,判断它是否是 平衡二叉树 示例 1: 输入:root [3,9,20,null,null,15,7] 输出:true示例 2: 输入:root [1,2,2,3,3,null,null,4,4] 输出:false示例 3: …

ComfyUI中的图像镜像反转(3种方式)

用下面的节点就可以让图片左右镜像反转,如下 如果想要上下翻转呢?用下面的节点,如下 这个节点不仅可以上下翻转,还可以左右翻转,把方向设置为水平就行,即设置为level,如下 或者用下面这个节点也…

动态规划——斐波那契数列模型:91.解码方法

文章目录 题目描述算法原理1.状态表示2.状态转移方程3.初始化⽅法⼀(直接初始化)⽅法⼆(添加辅助位置初始化) 4.填表顺序5.返回值 代码实现C优化Java优化 题目描述 题目链接:91.解码方法 算法原理 类似于斐波那契…

Elasticsearch初步认识

Elasticsearch初步认识 ES概述基本概念正向索引和倒排索引IK分词器ik_smart最少切分ik_max_word为最细粒度划分 ES索引库基本操作对索引库操作对文档操作 ES概述 Elasticsearch,简称为 ES,是一款非常强大的开源的高扩展的分布式全文检索引擎&#xff0c…

Linux基础之makefile/make

目录 一、背景 二、makefile和make的讲解 2.1 使用方法 2.2 伪目标文件 2.3 文件的属性以及属性的更新 2.4 makefile的自动推导 一、背景 这里会提及为什么要使用makefile和make,以及他们是什么和作用。 会不会写makefile,从一个侧面说明了一个人是…

JS基础:输出信息的5种方式详解

你好,我是云桃桃。 一个希望帮助更多朋友快速入门 WEB 前端的程序媛。 云桃桃-大专生,一枚程序媛,感谢关注。回复 “前端基础题”,可免费获得前端基础 100 题汇总,回复 “前端基础路线”,可获取完整web基础…

基于LLama3、Langchain,Chroma 构建RAG

概要: 使用Llama3 Langchain和ChromaDB创建一个检索增强生成(RAG)系统。这将允许我们询问有关我们的文档(未包含在训练数据中)的问题,而无需对大型语言模型(LLM)进行微调。在使用RA…

【企业动态】东胜物联正式加入EnOcean联盟,携手为智慧楼宇及能源管理提供更稳定的硬件解决方案

2024年4月,东胜物联(Dusun)宣布正式加入EnOcean联盟。EnOcean联盟是一个由来自建筑行业的400多家公司组成的全球性组织。它以EnOcean无线标准(ISO/IEC 14543-3-10/11)为基础,为可持续建筑自动化建立了创新的…

短剧APP开发:百亿短剧市场规模下的收益密码

短剧进入到大众的视野中,成为影视新行业,成为了中老年人茶余饭后的休闲方式,也成为了年轻人的“电子榨菜”。短剧时长短、节奏快,观众可以在短时间内看完一部剧,波澜起伏的剧情能够推动短剧的剧情,吸引观众…

【MRI重建】基于L+S方法的加速动态成像(MATLAB)

关于 L+S 模型很自然地可以表示动态 MRI 数据。重建欠采样数据需要 k−t 空间(采集)与 L 的奇异向量和 S 的稀疏域之间的不相干性。 L 和 S 之间的不相干性是背景和动态分量稳健分离所必需的。多线圈 L+S 重建是使用凸优化方法制定的,其中核范数用于强制 L 中的低秩,而 l1 …

58行代码把Llama 3扩展到100万上下文,任何微调版都适用 | 最新快讯

量子位公众号 QbitAI 堂堂开源之王 Llama 3,原版上下文窗口居然只有……8k,让到嘴边的一句“真香”又咽回去了。 在 32k 起步,100k 寻常的今天,这是故意要给开源社区留做贡献的空间吗? 开源社区当然不会放过这个机会&a…

[JUCE库]关于JUCE如何生成动态链接库 juce-7.0.1-windows

前言 当我们在使用JUCE库的时候,可能会需要使用到静态链接的方式,还好的一点是JUCE本身提供了CMake编译,也提供了单独的sln编译。 本文章仅针对juce-7.0.1-windows,由于不同版本之间差异较大,可能不能通用&#xff0…

Codeforces Round 943 (Div. 3) A~E

A. Maximize? Problem - A - Codeforces 给定x求出使这个式子最大的y&#xff1a; 不用想复杂直接循环枚举即可。 #include<bits/stdc.h> using lllong long; ll n,m; void solve() {int x;std::cin>>x;ll ans0,y;for(int i1;i<x;i){if(std::__gcd(i,x)i>a…

鸿蒙内核源码分析(信号量篇) | 谁在负责解决任务的同步

基本概念 信号量&#xff08;Semaphore&#xff09; 是一种实现任务间通信的机制&#xff0c;可以实现任务间同步或共享资源的互斥访问。 一个信号量的数据结构中&#xff0c;通常有一个计数值&#xff0c;用于对有效资源数的计数&#xff0c;表示剩下的可被使用的共享资源数…

linux 调试-kdb 调试内核-1

目标&#xff1a;打印bcm2835_spi_transfer_one 是如何从用户空间开始调用的 1. kernel 配置 KDB配置选项 添加 spi 控制器驱动 和 spi 设备驱动 2. 调试流程 调试内核-系统启动之后 1. 开发板进入kdb,等待pc 连接 rootraspberrypi:~# echo "ttyS0,115200"…

抖音小店如何快速出单?内行人闭口不提的诀窍,一篇全曝光!

哈喽~我是电商月月 新手做抖店不成功&#xff0c;最大的问题就是不懂技巧&#xff0c;不懂规则&#xff0c;不懂玩法&#xff0c;你基础事项&#xff0c;思维方向都没选好&#xff0c;再怎么努力也别想出单 看下去&#xff0c;新手在开店后不要着急选品&#xff0c;先把这些问…

数据结构复习指导之树的基本概念

文章目录 树与二叉树 考纲内容 复习提示 前言 1.树的基本概念 1.1树的定义 1.2基本术语 1.3树的性质 树与二叉树 考纲内容 &#xff08;一&#xff09;树的基本概念 &#xff08;二&#xff09;二叉树 二叉树的定义及其主要特征&#xff1b;二叉树的顺序存…

22 Debian如何配置Apache2(2)虚拟主机

作者&#xff1a;网络傅老师 特别提示&#xff1a;未经作者允许&#xff0c;不得转载任何内容。违者必究&#xff01; Debian如何配置Apache2&#xff08;2&#xff09;虚拟主机 《傅老师Debian小知识库系列之22》——原创 前言 傅老师Debian小知识库特点&#xff1a; 1、最…

文件加密软件排行榜前四名(2024年4大好用的加密软件推荐)

说到文件加密&#xff0c;想必大家都很熟悉&#xff0c;文件加密已经普遍应用&#xff0c;文件加密是一种重要的安全措施&#xff0c;可以确保数据的机密性、完整性和可用性&#xff0c;降低因数据泄露或丢失带来的风险 。 下面小编给大家分享几款常用的加密软件&#xff0c;…