【案例实践】Python-GEE遥感云大数据分析、管理与可视化技术及多领域案例实践应用

news2024/10/7 2:27:27

查看原文>>>Python-GEE遥感云大数据分析、管理与可视化技术及多领域案例实践应用

目录

第一章、理论基础

第二章、开发环境搭建

第三章、遥感大数据处理基础

第四章、典型案例操作实践

第五章、输入输出及数据资产高效管理

第六章、云端数据论文出版级可视化


        随着航空、航天、近地空间等多个遥感平台的不断发展,近年来遥感技术突飞猛进。由此,遥感数据的空间、时间、光谱分辨率不断提高,数据量也大幅增长,使其越来越具有大数据特征。对于相关研究而言,遥感大数据的出现为其提供了前所未有的机遇,但同时也提出了巨大的挑战。传统的工作站和服务器已经无法满足大区域、多尺度海量遥感数据处理的需要。

为解决这一问题,国内外涌现了许多全球尺度地球科学数据(尤其是卫星遥感数据)在线可视化计算和分析云平台如谷歌Earth Engine(GEE)、航天宏图的PIE Engine和阿里的AI Earth等。其中,Earth Engine最为强大,能够存取和同步遥感领域目前常用的MODIS、Landsat和Sentinel等卫星图像和NCEP等气象再分析数据集,同时依托全球上百万台超级服务器,提供足够的运算能力对这些数据进行处理。目前,Earth Engine上包含超过900个公共数据集,每月新增约2 PB数据,总容量超过80PB。与传统的处理影像工具(例如ENVI)相比,Earth Engine在处理海量遥感数据方面具有不可比拟的优势。一方面,它提供了丰富的计算资源;另一方面,其巨大的云存储能力节省了科研人员大量的数据下载和预处理时间。可以说,Earth Engine在遥感数据的计算和分析可视化方面代表世界该领域最前沿水平,是遥感领域的一次革命。

【内容简述】:

第一章、理论基础

1、Earth Engine平台及应用、主要数据资源介绍
2、Earth Engine遥感云重要概念、数据类型与对象等
3、JavaScript与Python遥感云编程比较与选择
4、Python基础(语法、数据类型与程序控制结构、函数及类与对象等)
5、常用Python软件包((pandas、numpy、os等)介绍及基本功能演示(Excel/csv数据文件读取与数据处理、目录操作等)
6、JavaScript和Python遥感云API差异,学习方法及资源推荐

第二章、开发环境搭建

1、本地端与云端Python遥感云开发环境介绍
2、本地端开发环境搭建
1)Anaconda安装,pip/conda软件包安装方法和虚拟环境创建等;
2)earthengine-api、geemap等必备软件包安装;
3)遥感云本地端授权管理;
4)Jupyter Notebook/Visual Studio Code安装及运行调试。 
3、云端Colab开发环境搭建
geemap介绍及常用功能演示

第三章、遥感大数据处理基础

1、遥感云平台影像数据分析处理流程介绍:介绍遥感云平台影像数据分析处理流程的基本框架,包括数据获取、数据预处理、算法开发、可视化等。

2、要素和影像等对象显示和属性字段探索:介绍如何在遥感云平台上显示和探索要素和影像等对象的属性字段,包括如何选择要素和影像对象、查看属性信息、筛选数据等。

3、影像/要素集的时间、空间和属性过滤方法:介绍如何对影像/要素集进行时间、空间和属性过滤,包括如何选择时间段、地理区域和属性条件,以实现更精确的数据分析。

4、波段运算、条件运算、植被指数计算、裁剪和镶嵌等:介绍如何在遥感云平台上进行波段运算、条件运算、植被指数计算、裁剪和镶嵌等操作,以实现更深入的数据分析。

5、Landsat/Sentinel-2等常用光学影像去云:介绍如何在遥感云平台上使用不同方法去除Landsat/Sentinel-2等常用光学影像中的云,以提高影像数据质量。

6影像与要素集的迭代循环:介绍如何使用遥感云平台的迭代循环功能对影像和要素集进行批量处理,以提高数据分析效率。

7、影像数据整合(Reducer):介绍如何使用遥感云平台的Reducer功能将多个影像数据整合成一个数据集,以方便后续数据分析。

8、邻域分析与空间统计:介绍如何在遥感云平台上进行邻域分析和空间统计,以获取更深入的空间信息。

9、常见错误与代码优化:介绍遥感云平台数据分析过程中常见的错误和如何进行代码优化,以提高数据分析效率和精度。

10、Python遥感云数据分析专属包构建:介绍如何使用Python在遥感云平台上构建数据分析专属包,以方便多次使用和分享分析代码。

第四章、典型案例操作实践

1、机器学习分类算法案例:本案例联合Landsat等长时间序列影像和机器学习算法展示国家尺度的基本遥感分类过程。具体内容包括研究区影像统计、空间分层随机抽样、样本随机切分、时间序列影像预处理和合成、机器学习算法应用、分类后处理和精度评估等方面。

2、决策树森林分类算法案例:本案例联合L波段雷达和Landsat光学时间序列影像,使用决策树分类算法提取指定地区2007-2020年度森林分布图,并与JAXA年度森林产品进行空间比较。案例涉及多源数据联合使用、决策树分类算法构建、阈值动态优化、分类结果空间分析等方面。

3、洪涝灾害监测案例:本案例基于Sentinel-1 C波段雷达等影像,对省级尺度的特大暴雨灾害进行监测。案例内容包括Sentinel-1 C影像处理、多种水体识别算法构建、影像差异分析以及结果可视化等方面。。

4、干旱遥感监测案例:本案例使用40年历史的卫星遥感降雨数据产品如CHIRPS来监测省级尺度的特大干旱情况。案例内容包括气象数据基本处理、年和月尺度数据整合、长期平均值LPA/偏差计算,以及数据结果可视化等方面。

5、物候特征分析案例:本案例基于Landsat和MODIS等时间序列影像,通过植被指数变化分析典型地表植被多年的物候差异(样点尺度)和大尺度(如中国)的物候空间变化特征。案例内容包括时间序列影像合成、影像平滑(Smoothing)与间隙填充(Gap-filling)、结果可视化等方面。

6、森林植被健康状态监测案例:本案例利用20年的MODIS植被指数,对选定区域的森林进行长期监测,并分析森林植被的绿化或褐变情况。涉及影像的连接和合成、趋势分析、空间统计以及可视化等方法。

7、生态环境质量动态监测案例:该案例使用RSEI遥感生态指数和Landsat系列影像,对选定城市的生态状况进行快速监测。主要涉及的技术包括植被指数的计算、地表温度的提取、数据的归一化、主成分PCA分析、RSEI生态指数的构建以及结果的可视化等。

第五章、输入输出及数据资产高效管理

1. 本地数据与云端交互:介绍如何将本地端csv、kml、矢量和栅格数据与云端数据相互转换,并讲解数据导出的方法。

2. 服务器端数据批量下载:包括直接本地下载、影像集批量下载,以及如何快速下载大尺度和长时间序列数据产品,例如全球森林产品和20年的MODIS数据产品等。。

3. 本地端数据上传与属性设置:包括earthengine命令使用,介绍如何上传少量本地端矢量与栅格数据并设置属性(小文件),以及如何批量上传数据并自动设置属性,还将介绍如何使用快速上传技巧上传超大影像文件,例如国产高分影像。

4、个人数据资产管理:介绍如何使用Python和earthengine命令行来管理个人数据资产,包括创建、删除、移动、重命名等操作,同时还会讲解如何批量取消上传/下载任务。

第六章、云端数据论文出版级可视化

1. Python可视化及主要软件包简介:介绍matplotlib和seaborn可视化程序包,讲解基本图形概念、图形构成以及快速绘制常用图形等内容。

2. 研究区地形及样地分布图绘制:结合本地或云端矢量文件、云端地形数据等,绘制研究区示意图。涉及绘图流程、中文显示、配色美化等内容,还会介绍cpt-city精美调色板palette在线下载与本地端应用等。

3. 研究区域影像覆盖统计和绘图:对指定区域的Landsat和Sentinel等系列影像的覆盖数量、无云影像覆盖情况进行统计,绘制区域影像统计图或像元级无云影像覆盖专题图。

4. 样本光谱特征与物候特征等分析绘图:快速绘制不同类型样地的光谱和物候特征,动态下载并整合样点过去30年缩略图(thumbnails)和植被指数时间序列等。

5. 分类结果专题图绘制及时空动态延时摄影Timelapse制作:单幅或多幅分类专题图绘制及配色美化,制作土地利用变化清晰的Timelapse,还会介绍动画文字添加等内容。

6、分类结果面积统计与绘图:基于云端的分类结果和矢量边界文件,统计不同区域不同地类面积,提取统计结果,以不同图形展示统计面积;制作土地利用变化统计绘图等。

【其他相关推荐】:

R语言生物群落(生态)数据统计分析实践与应用

R语言生态环境数据多元统计实践与应用

GEE遥感云大数据在林业中的应用

基于“PLUS模型+”生态系统服务多情景模拟预测实践技术

Python与Noah-MP陆面过程模型融合技术及在站点、区域模拟

Python语言在地球科学交叉领域中的实践技术融合应用

查看原文>>>Python-GEE遥感云大数据分析、管理与可视化技术及多领域案例实践应用

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/416125.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

图片懒加载及Vue自定义图片懒加载指令

文章目录监听滚动的方式IntersectionObserver方式自定义图片懒加载vue指令1自定义图片懒加载vue指令2lazyLoadImage.jsmain.js中注册指令组件中使用学习链接:前端必会的图片懒加载vue自定义指令实现图片懒加载监听滚动的方式 img的src先都用一张默认的图片&#xf…

论文推荐:DCSAU-Net,更深更紧凑注意力U-Net

这是一篇23年发布的新论文,论文提出了一种更深、更紧凑的分裂注意力的U-Net,该网络基于主特征守恒和紧凑分裂注意力模块,有效地利用了底层和高层语义信息。 DCSAU-Net 1、架构 DCSAU-Net 的编码器首先使用 PFC 策略从输入图像中提取低级语义…

适用于 Windows 11/1 0电脑的 8 款最佳免费数据恢复软件

在这个数字办公时代,我们总是在电脑前工作,处理海量数据,存储重要文件。然而,系统崩溃、病毒攻击或人为错误都会导致极度绝望的数据丢失。此时,专业的数据备份和恢复工具就是不幸者的救命稻草。因此,这篇文…

深入剖析Compose布局, 一步步教你打造自适应UI界面

理解Compose布局 Compose 是一种基于声明式编程的 Android UI 工具包,它将可组合的 UI 要素视为函数,并使用 Kotlin DSL 进行构建和组合。Compose 还提供了相应的布局系统和一组用于嵌套和组合 UI 要素的基本函数。 Compose 的核心布局系统由两个部分组…

Windows使用Dockers+battery historian踩坑记

1、首先,需要翻墙。 2、然后安装Dockers,网上好多博客说安装Docker Toolbox,我亲测无效,卸载后安装Docker for Windows,安装完成后打开,会提示: Hardware assisted virtualization and data e…

Promise这样理解更简单

一、Promise小白怎么用?从一个故事开始吧 1、先来一段废话故事 您是一名在古老迷失城市中探险的冒险家。您身处一间装饰华丽的房间中,四周布满了古老的壁画和雕塑。您发现有两个通道分别通向不同的方向,分别是:一个黑暗的通道和…

Hive源码阅读环境准备

源码地址 hive源码地址在github或gitee均可以下载,如果没有vpn工具,使用gitee网速更快点。 github地址为: https://github.com:edingbrugh/hive.gitgitee地址如下: https://gitee.com/apache/hive.git环境要求 本地或远程已经安装hivejdk 8maven 3.6…

高权限注入跨库注入

简介 上篇文章中我们讲述了如何进行手工注入,也通过墨者学院的靶场,真实的感受了SQL注入的感觉。这篇文章我们将继续介绍SQL注入。 高权限注入 含义 世界上有千千万万的网站,我们也都知道网站需要部署在服务器上,但是如果一台…

C++基础知识-----命名空间

本期开始我们来对C进行学习 目录 1.C关键字 2.命名空间 3.C的输入与输出 1.C关键字 C总计63个关键字,C语言32个关键字 asmdoifreturntrycontinueautodoubleinlineshorttypedefforbooldynamic_castintsignedtypeidpublicbreakelselongsizeoftypenamethrowcase…

摘得重磅奖项,发表精彩演讲,深度参编报告!美创闪耀CSA GCR大会

4月13日,第六届云安全联盟大中华区大会在上海举办,大会由联合国数字安全联盟、上海市经济和信息化委员会、上海市委网络安全和信息化委员会办公室、上海市普陀区人民政府指导,云安全联盟大中华区主办。 作为零信任数据安全践行者,…

java银行ATM机模拟系统dzkf94

目录 摘要 I Abstract II 第1章 绪论 1 1.1 ATM简介 1 1.2 ATM发展 1 1.3 开发意义 1 1.4 论文的组成 1 1.5 本章小结 2 第2章 系统分析 3 2.1 功能需求分析 3 2.2 业务流程分析 4 2.3 数据流程分析 5 2.4 本章小结 7 第3章 系统开发技…

车载网络 - Autosar网络管理 - 常用缩写

为了方便大家日常工作中的使用和交流,每块专业规范或者文章中,都会有或多或少的缩写使用,然而如果一段时间没使用,经常会忘记这些缩写到底代表的是什么意思,为了方便后续内容的介绍,也为了我自己后面忘记后…

【数据分析之道-NumPy(四)】numpy广播机制

文章目录 专栏导读1、广播机制2、一维数组和二维数组的广播3、二维数组和三维数组的广播4、标量和数组的广播5、形状不兼容的数组不能进行广播专栏导读 ✍ 作者简介:i阿极,CSDN Python领域新星创作者,专注于分享python领域知识。 ✍ 本文录入于《数据分析之道》,本专栏针对…

MySQL---数据类型

文章目录前言一、数据类型分类二、数值类型1.tinyint类型2.bit类型三、小数类型1.float2. decimal三、字符串类型1.char2.varchar3.char和varchar比较四、日期和时间类型五、enum和set我们如何找到性别是男或者女呢?我们如何找到爱好有rapper呢?总结前言 正文开始!!! 一、数…

MyBatis 批量插入的正确姿势

近日,项目中有一个耗时较长的Job存在CPU占用过高的问题,经排查发现,主要时间消耗在往MyBatis中批量插入数据。mapper configuration是用foreach循环做的,差不多是这样。 这个方法提升批量插入速度的原理是,将传统的: INSERT INTO `table1` (`field1`, `field2`) VALUES …

Linux服务器怎么关闭防火墙?

Linux服务器怎么关闭防火墙? 在很多情况下,防火墙都会组织一些端口号的通讯。 比如我们的tomcat,nginx,redis明明安装的没问题,但在外部就是访问不了,那很有可能就是防护墙的原因了。我是艾西,…

protobuf编码格式解析

示例 假如定义一个如下的protobuf类型 message Person {required string user_name 1;optional int64 favorite_number 2;repeated string interests 3; }将其赋值为: user_name : "Martin" favorite_number : 1337 interests:"daydrea…

pyLoad远程代码执行漏洞复现(CVE-2023-0297)

1、产品简介 pyLoad是一个用 Python 编写的免费和开源下载管理器,可用于NAS、下一代路由器、无头家庭服务器以及任何能够连接到互联网并支持 Python 编程语言的设备。 2、漏洞概述 pyLoad 存在代码注入漏洞,未经身份验证的攻击者可以通过滥用 js2py 功能…

c/c++:类型限定符,printf输出格式,putchar,scanf,getchar

c/c:类型限定符,printf输出格式,putchar,scanf,getchar 2022找工作是学历、能力和运气的超强结合体,遇到寒冬,大厂不招人,此时学会c的话, 我所知道的周边的会c的同学&am…

结构方程模型(SEM)高阶应用系列

结构方程模型(Structural Equation Modeling)是分析多变量间因果关系的利器,在众多学科领域具有巨大应用潜力。我们前期推出的《基于R语言结构方程模型》通过结构方程原理介绍、结构方程全局和局域估计、模型构建和调整、潜变量分析、复合变量…