【西安】Python-GEE遥感云大数据分析、管理与可视化技术及多领域案例实践应用

news2025/1/24 5:33:40

目录

第一章 理论基础

第二章 开发环境搭建

第三章 遥感大数据处理 基础

第四章 典型案例操作实践

第五章 输入输出及数据 资产高效管理

第六章 云端数据论文出版级可视化


​随着航空、航天、近地空间等多个遥感平台的不断发展,近年来遥感技术突飞猛进。由此,遥感数据的空间、时间、光谱分辨率不断提高,数据量也大幅增长,使其越来越具有大数据特征。对于相关研究而言,遥感大数据的出现为其提供了前所未有的机遇,但同时也提出了巨大的挑战。传统的工作站和服务器已经无法满足大区域、多尺度海量遥感数据处理的需要。
为解决这一问题,国内外涌现了许多全球尺度地球科学数据(尤其是卫星遥感数据)在线可视化计算和分析云平台如谷歌Earth Engine(GEE)、航天宏图的PIE Engine和阿里的AI Earth等。其中,Earth Engine最为强大,能够存取和同步遥感领域目前常用的MODIS、Landsat和Sentinel等卫星图像和NCEP等气象再分析数据集,同时依托全球上百万台超级服务器,提供足够的运算能力对这些数据进行处理。目前,Earth Engine上包含超过900个公共数据集,每月新增约2 PB数据,总容量超过80PB。与传统的处理影像工具(例如ENVI)相比,Earth Engine在处理海量遥感数据方面具有不可比拟的优势。一方面,它提供了丰富的计算资源;另一方面,其巨大的云存储能力节省了科研人员大量的数据下载和预处理时间。可以说,Earth Engine在遥感数据的计算和分析可视化方面代表世界该领域最前沿水平,是遥感领域的一次革命。
目前,Earth Engine以其强大的功能受到国内外越来越多的科技工作者的重视,应用也越来越普遍。本课程旨在帮助科研工作者掌握Earth Engine的实际应用能力,将以Python编程语言为基础,结合案例从平台搭建、影像数据分析、本地和云端数据管理,以及云端数据论文出版级可视化等方面进行讲解和进阶训练。此外,本课程还将强调批处理和机器学习,适合已掌握一定Earth Engine和Python基础、或对编程有浓厚兴趣的学员。


第一章 理论基础

1、Earth Engine平台及应用、主要数据资源介绍
2、Earth Engine遥感云重要概念、数据类型与对象等
3、JavaScript与Python遥感云编程比较与选择
4、Python基础(语法、数据类型与程序控制结构、函数及类与对象等)
5、常用Python软件包((pandas、numpy、os等)介绍及基本功能演示(Excel/csv数据文件读取与数据处理、目录操作等)
6、JavaScript和Python遥感云API差异,学习方法及资源推荐

第二章 开发环境搭建

1、本地端与云端Python遥感云开发环境介绍
2、本地端开发环境搭建
1)Anaconda安装,pip/conda软件包安装方法和虚拟环境创建等;
2)earthengine-api、geemap等必备软件包安装;
3)遥感云本地端授权管理;
4)Jupyter Notebook/Visual Studio Code安装及运行调试。
3、云端Colab开发环境搭建
4、geemap介绍及常用功能演示

第三章 遥感大数据处理 基础

1、遥感云平台影像数据分析处理流程介绍:介绍遥感云平台影像数据分析处理流程的基本框架,包括数据获取、数据预处理、算法开发、可视化等。
2、要素和影像等对象显示和属性字段探索:介绍如何在遥感云平台上显示和探索要素和影像等对象的属性字段,包括如何选择要素和影像对象、查看属性信息、筛选数据等。
3、影像/要素集的时间、空间和属性过滤方法:介绍如何对影像/要素集进行时间、空间和属性过滤,包括如何选择时间段、地理区域和属性条件,以实现更精确的数据分析。
4、波段运算、条件运算、植被指数计算、裁剪和镶嵌等:介绍如何在遥感云平台上进行波段运算、条件运算、植被指数计算、裁剪和镶嵌等操作,以实现更深入的数据分析。
5、Landsat/Sentinel-2等常用光学影像去云:介绍如何在遥感云平台上使用不同方法去除Landsat/Sentinel-2等常用光学影像中的云,以提高影像数据质量。
6、影像与要素集的迭代循环:介绍如何使用遥感云平台的迭代循环功能对影像和要素集进行批量处理,以提高数据分析效率。
7、影像数据整合(Reducer):介绍如何使用遥感云平台的Reducer功能将多个影像数据整合成一个数据集,以方便后续数据分析。
8、邻域分析与空间统计:介绍如何在遥感云平台上进行邻域分析和空间统计,以获取更深入的空间信息。
9、常见错误与代码优化:介绍遥感云平台数据分析过程中常见的错误和如何进行代码优化,以提高数据分析效率和精度。
10、Python遥感云数据分析专属包构建:介绍如何使用Python在遥感云平台上构建数据分析专属包,以方便多次使用和分享分析代码。

第四章 典型案例操作实践

11、机器学习分类算法案例:本案例联合Landsat等长时间序列影像和机器学习算法展示国家尺度的基本遥感分类过程。具体内容包括研究区影像统计、空间分层随机抽样、样本随机切分、时间序列影像预处理和合成、机器学习算法应用、分类后处理和精度评估等方面。
12、决策树森林分类算法案例:本案例联合L波段雷达和Landsat光学时间序列影像,使用决策树分类算法提取指定地区2007-2020年度森林分布图,并与JAXA年度森林产品进行空间比较。案例涉及多源数据联合使用、决策树分类算法构建、阈值动态优化、分类结果空间分析等方面。
13、洪涝灾害监测案例:本案例基于Sentinel-1 C波段雷达等影像,对省级尺度的特大暴雨灾害进行监测。案例内容包括Sentinel-1 C影像处理、多种水体识别算法构建、影像差异分析以及结果可视化等方面。
14、干旱遥感监测案例:本案例使用40年历史的卫星遥感降雨数据产品如CHIRPS来监测省级尺度的特大干旱情况。案例内容包括气象数据基本处理、年和月尺度数据整合、长期平均值LPA/偏差计算,以及数据结果可视化等方面。
15、物候特征分析案例:本案例基于Landsat和MODIS等时间序列影像,通过植被指数变化分析典型地表植被多年的物候差异(样点尺度)和大尺度(如中国)的物候空间变化特征。案例内容包括时间序列影像合成、影像平滑(Smoothing)与间隙填充(Gap-filling)、结果可视化等方面。
16、森林植被健康状态监测案例:本案例利用20年的MODIS植被指数,对选定区域的森林进行长期监测,并分析森林植被的绿化或褐变情况。涉及影像的连接和合成、趋势分析、空间统计以及可视化等方法。
17、生态环境质量动态监测案例:该案例使用RSEI遥感生态指数和Landsat系列影像,对选定城市的生态状况进行快速监测。主要涉及的技术包括植被指数的计算、地表温度的提取、数据的归一化、主成分PCA分析、RSEI生态指数的构建以及结果的可视化等。

第五章 输入输出及数据 资产高效管理

1.本地数据与云端交互:介绍如何将本地端csv、kml、矢量和栅格数据与云端数据相互转换,并讲解数据导出的方法。
2.服务器端数据批量下载:包括直接本地下载、影像集批量下载,以及如何快速下载大尺度和长时间序列数据产品,例如全球森林产品和20年的MODIS数据产品等。
3.本地端数据上传与属性设置:包括earthengine命令使用,介绍如何上传少量本地端矢量与栅格数据并设置属性(小文件),以及如何批量上传数据并自动设置属性,还将介绍如何使用快速上传技巧上传超大影像文件,例如国产高分影像。
4.个人数据资产管理:介绍如何使用Python和earthengine命令行来管理个人数据资产,包括创建、删除、移动、重命名等操作,同时还会讲解如何批量取消上传/下载任务。

第六章 云端数据论文出版级可视化

1.Python可视化及主要软件包简介:介绍matplotlib和seaborn可视化程序包,讲解基本图形概念、图形构成以及快速绘制常用图形等内容。
2.研究区地形及样地分布图绘制:结合本地或云端矢量文件、云端地形数据等,绘制研究区示意图。涉及绘图流程、中文显示、配色美化等内容,还会介绍cpt-city精美调色板palette在线下载与本地端应用等。
3.研究区域影像覆盖统计和绘图:对指定区域的Landsat和Sentinel等系列影像的覆盖数量、无云影像覆盖情况进行统计,绘制区域影像统计图或像元级无云影像覆盖专题图。
4.样本光谱特征与物候特征等分析绘图:快速绘制不同类型样地的光谱和物候特征,动态下载并整合样点过去30年缩略图(thumbnails)和植被指数时间序列等。
5.分类结果专题图绘制及时空动态延时摄影Timelapse制作:单幅或多幅分类专题图绘制及配色美化,制作土地利用变化清晰的Timelapse,还会介绍动画文字添加等内容。
6.分类结果面积统计与绘图:基于云端的分类结果和矢量边界文件,统计不同区域不同地类面积,提取统计结果,以不同图形展示统计面积;制作土地利用变化统计绘图等。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/363623.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

使用代码生成器生成代码

一、新建数据源配置 因考虑到多数据源问题,代码生成器作为一个通用的模块,后续可能会为其他工程生成代码,所以,这里不直接读取系统工程配置的数据源,而是让用户自己维护。 新建数据源 参数说明 数据源名称&#xff1…

CIMCAI intellgent ship product applied by world top3 shipcompany

CIMCAI智慧船公司集装箱管理产品ceaspectusS™全球规模应用全球前三大船公司认可验箱标准应用落地全球港航人工智能AI独角兽 CIMCAI中集飞瞳CIMCAI Intellgent shipping product ceaspectusS ™which applied by the worlds top three shipping companiesGlobal port and shipp…

关于ch340驱动安装

这是一个悲伤的故事,搞了一上午,最后的解决办法是我找到了开发板的原装数据线,一换上去,板卡上电后,点击安装,就安装驱动成功了。。。。。把我走过的弯路记录在下面,链接里的办法是能解决阶段问…

【Go】使用Go语言打造定时提醒小工具,从基础到优化全方位探索

文章目录一、引言1.目的和背景2.选择GO语言的原因二、GO语言中的时间和定时器1.时间相关的包和函数2.定时器相关的包和函数三、使用GO语言实现功能四、代码改进1.time.AfterFunc()2.sync.WaitGroup3.接收参数五、总结一、引言 1.目的和背景 本文为征文活动“CSDN 征文活动&am…

(二十二)、实现评论功能(2)【uniapp+uinicloud多用户社区博客实战项目(完整开发文档-从零到完整项目)】

1,渲染评论列表 1.1,在detail页面中定义评论列表数组和getcomment方法: commentList: [],getcomment方法: //获取评论列表async getComment() {let commentTemp db.collection("quanzi_comment").where(article_id …

浏览器跨域问题

跨域问题什么是跨域问题如何解决跨域问题JSONPCORS方式解决跨域使用 Nginx 反向代理使用 WebSocket跨源请求是否能携带Cookie什么是跨域问题 跨域问题指的是不同站点之间,使用 ajax 无法相互调用的问题。跨域问题本质是浏览器的一种保护机制,它的初衷是为…

【离线数仓-3-数仓建模方法理论汇总】

离线数仓-3-数仓建模方法理论汇总离线数仓-3-数仓建模方法理论汇总1.数仓概述2.数据仓库核心架构(Hive)3.数据仓库建模概述4.数据仓库建模方法论1.ER(Entity Relationship)模型2.维度模型1.维度建模理论-事实表1. 事实表概述2.事实…

RabbitMQ学习(十):发布确认高级

一、概述在生产环境中由于一些不明原因,导致 RabbitMQ 重启,在 RabbitMQ 重启期间生产者消息投递失败导致消息丢失,需要手动处理和恢复。在这样比较极端的情况,当RabbitMQ 集群不可用的时候,无法投递的消息该如何处理呢…

面试题:HashMap为什么是线程不安全的?解决办法是什么?

在JDK1.7中容易造成死循环和数据丢失,造成的原因如下图假设某个时刻t1,t2都访问到了链表,t1,t2的下一个节点都是b,如图此时内存耗尽,线程t2线程进入等待状态,假设此时刚好达到临界点需要扩容,t1进行扩容,并…

【20230210】二叉树小结

二叉树的种类二叉树的主要形式:满二叉树和完全二叉树。满二叉树深度为k,有2^k-1个节点的二叉树完全二叉树除了最底层节点可能没填满外,其余每层节点数都达到最大值,并且最下面一层的节点都集中在该层最左边的若干位置。二叉搜索树…

浅谈毫米波技术与应用

浅谈毫米波之技术篇2020年10月GSMA发布的《5G毫米波技术白皮书》预计,在2022年北京冬奥会上,5G毫米波有望大放异彩,为观众、媒体转播者、赛事组织和参与者等提供优质的观赛体验、完备的服务保障,将可提供全景VR、新型信息交互、智…

SCADA-1-组态前期需求调研篇

近期有朋友找到我,说scada组态系统开源的很少,不少开发者借此售卖这种软件,我回了句:这有什么难的,不就是拖拖拽拽,再绑定上数据源,实现动态效果嘛。。。(先装了个X)一、…

Web前端:全栈开发人员的责任

多年来,关于全栈开发人员有很多说法,全栈开发人员是一位精通应用程序全栈开发过程的专业人士。这包括数据库、API、前端技术、后端开发语言和控制系统版本。你一定遇到过前端和后端开发人员。前端开发人员将构建接口,而后端开发人员将开发、更…

使用 Xcode 创建第一个 Objective-C 命令行程序 HelloWorld

总目录 iOS开发笔记目录 从一无所知到入门 文章目录创建项目运行项目,查看日志输出同一项目下新增子目录,切换要运行的 Target创建项目 打开 Xcode ,Create a new Xcode project 接下来的默认界面: 切换到 macOS 下&#xff…

攻击者失手,自己杀死了僵尸网络 KmsdBot

此前,Akamai 的安全研究员披露了 KmsdBot 僵尸网络,该僵尸网络主要通过 SSH 爆破与弱口令进行传播。在对该僵尸网络的持续跟踪中,研究人员发现了一些有趣的事情。 C&C 控制 对恶意活动来说,最致命的就是夺取对 C&C 服务…

后端基础SQL

SQL基础语法: sql对大小写不敏感,eg: SELECT 等效于 select;select: select用于从表中查找数据,select 列名 from 表名 —> 结果集::仅有查询列的结果表; SELECT * FROM 表名称 ----> 结果集: 查找表的所有数据…

你是客户喜欢的那类外贸业务员吗

某天,一个智利的客户发了一封邮件来,只为了告诉我一个好消息——他的产品进入了 Walmart。01以下是他的原文:Hi Sam,Just for you to know, that 2-3 month ago, We take part in a bidding, and we win with the clip caps.They buy 400-500…

深入浅出C++ ——set类深度剖析

文章目录一、关联式容器二、键值对三、树形结构的关联式容器四、set类介绍六、set的使用七、multiset一、关联式容器 STL中的部分容器,比如:vector、list、deque、forward_list(C11)等,这些容器统称为序列式容器,因为其底层为线性…

如何解决过拟合与欠拟合,及理解k折交叉验证

模型欠拟合:在训练集以及测试集上同时具有较⾼的误差,此时模型的偏差较⼤; 模型过拟合:在训练集上具有较低的误差,在测试集上具有较⾼的误差,此时模型的⽅差较⼤。 如何解决⽋拟合: 添加其他特…

【蓝桥杯集训8】哈希表专题(3 / 3)

目录 手写哈希表 1、开放寻址法 2、拉链法 字符串前缀哈希表法 2058. 笨拙的手指 - 哈希表 秦九韶算法(进制转换) 枚举 秦九韶算法——将x进制数转化为十进制数 手写哈希表 活动 - AcWing 1、开放寻址法 设 h(x)k,也就是 x 的哈希值…