GEE Python本地快速下载GEE数据(比网页版保存到网盘再下载快几十倍,尤其是在下载几十年的长时间系列数据时,速度提升更加明显)

news2025/1/18 7:29:28

前言

可根据研究区直接裁剪数据以及进行一些计算处理后再下载,GEE成为了大家下载数据的重要途径,然而直接通过官网网页将数据先保存到网盘再下载的下载方法速度太慢,新号速度还好,越用速度越来越慢,本文提供了一种直接通过Python将数据直接下载到本地的方法,速度亲测大概为前者的几十倍,该种方法适用于单个数据小于32M的情况,不知道为什么批量下载的代码每次运行只能运行1小时,可能是gee限制。

一、环境配置

首先需要配置GEE本地Python开发环境,安装吴秋生老师的geemap库会自动安装gee相应的环境,比较简单方便,安装教程:Installation - geemap

此外还要安装几个python库:requests(访问网页)、retry(代码多次尝试)、multiprocessing(多线程)。

二、代码准备

主要需要编写两个代码:

download.py 这是主要代码,直接运行需要开通什么云计算平台,配置有些麻烦,尝试了几天没有成功,但是在jupyter中运行这个代码不需要开通云计算平台。这里也许有朋友要问了,直接用jupyter写Python代码不就好了吗,为什么要多此一举先写个.py再用jupyter调用?因为我们使用了多线程,jupyter中不能调用multiprocessing,其中的坑。。。。很多,我也是尝试了很久试出了现在的方法,唉,一言难尽。

download.ipynb 这个是通过jupyter来运行download.py

此处以下载近20年的ERA5-LAND雪深数据为例,代码下载地址见文末:

三、下载操作

准备好环境和代码后,就可以进行下载操作了,我使用的是anconda来管理的python包。

1.激活anconda的GEE环境

在anconda prompt 中输入 conda activate xxx(环境名称),激活并进入了配置的gee环境。

2.进入代码的文件夹

我的代码放在了D盘,首先键入“D:”回车,进入D盘,再键入“cd D:\geedownload”代码文件夹路径,回车进入文件夹

3.打开jupyter

键入 jupyter lab 打开jupyter,打开download.ipynb

4.运行jupyter 

运行到这

#登录谷歌账号,有一些操作
ee.Authenticate()
ee.Initialize(opt_url='https://earthengine-highvolume.googleapis.com')

会有一些登录认证GEE账号的操作

需要一个验证码,然后界面会跳转到 

 创建或者选择一个已存在的项目,操作很简单

 点击这个按钮

这些复选框全选上,继续

 将授权码复制到jupyter,回车,就认证完成了

运行  %run download.py就可以下载了,由于使用了多线程,界面内没有输出,可以去下载的文件夹或者anconda prompt 界面看看,在飞速地下载,我的下载范围为青藏高原,一分钟大概下载了140天的数据。

 本文为原创文章,探索了很久的下载方案,请大家尊重劳动成果与版权,文章和代码请勿随意转载!

代码链接:https://m.tb.cn/h.USIOROb?tk=Bx6jd2pN0Ed

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/44534.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

IBM MQ通道接收端绑定步骤

不同类型的绑定 IBM MQ 支持应用程序可以连接的两种方式: 1.本地绑定:这是当应用程序和队列管理器在同一个操作映像上时。 CHLAUTH 与此类应用程序连接无关。 2. 客户端绑定:这是应用程序和队列管理器使用网络进行通信的时候。 应用程序和队列…

从Opencv之图像直方图源码,探讨高性能计算设计思想

前言 纸上得来终觉浅,绝知此事要躬行。学会算法的理论很重要,但是把理论高效的实现也是需要一点点练习的。 图像直方图的理论很简单,就是把一个图像的像素区间划分为几个子区间,然后统计图像中的像素包含在子区间内的个数。这里&a…

什么是网络变压器,它是干什么用的?作用/参数表/价格及型号体系有哪些?怎么测量网络变压器好坏

什么是网络变压器? 网络变压器是在以太网网络传输设备中,主板上芯片PHY与网口RJ45之间的一个黑黑的小方块,里面的结构是磁环及铜线组成,这个小方块就是我们俗称的网络变压器 有的变压器中心抽头接到地。而接电源时,电…

深度学习入门(五十七)循环神经网络——循环神经网络从零开始实现

深度学习入门(五十七)循环神经网络——循环神经网络从零开始实现前言循环神经网络——循环神经网络从零开始实现教材1 独热编码(one-hot)2 初始化模型参数3 循环神经网络模型4 预测5 梯度裁剪6 训练7 小结前言 核心内容来自博客链接1博客连接2希望大家多…

【Hack The Box】linux练习-- Pandora

HTB 学习笔记 【Hack The Box】linux练习-- Pandora 🔥系列专栏:Hack The Box 🎉欢迎关注🔎点赞👍收藏⭐️留言📝 📆首发时间:🌴2022年11月27日🌴 &#x1f…

TensorFlow之文本分类算法-4

1 前言 2 收集数据 3 探索数据 4 选择模型 5 准备数据 6 模型-构建训练评估 机器学习主要包括模型构建、模型训练、模型评估,在选择模型章节中已经对如何根据S/W的比率进行模型的选择,其包括n-gram模型或者序列模型,本章节内容主要描述…

LeetCode-813-最大平均值和的分组

1、动态规划法 我们可以利用数组dp[i][j]dp[i][j]dp[i][j]来表示我们将数组中区间[0,i−1][0,i-1][0,i−1]的元素分为jjj组的平均值的总和。因此我们可以得到状态转化方程如下:{dp[i][j]∑r0i−1nums[r]i,j1dp[i][j]maxx≥j−1(dp[x][j−1]∑rxi−1nums[r]i−x),j&…

计算机五大部件是指什么

计算机五大部件: 计算机硬件系统由运算器、控制器、存储器(内外存储器)、输入设备和输出设备五部分组成。 1、控制器:控制器就是一个系统中枢,控制计算机如何运行、运转的基本单元。 每一个运算器都需一个单独的控制…

D-016 JTAG硬件电路设计

JTAG硬件电路设计1 简介1.1 JTAG分类1.2 ARM调试器2 设计要点3 电路实战3.1 Xilinx3.2 ALTERA ------USB blaster1 简介 JTAG(Join Test Action Group)的中文名称为联合测试工作组,是一种国际标准测试协议,主要用于芯片内部测试:验证设计和P…

Ubuntu16.04 完整版 Gym 安装及说明

Ubuntu16.04 完整版 Gym 安装及说明1. 安装前言2. Gym 开发环境说明3. 完整版 Gym 的安装3.1 Anaconda 创建虚拟环境3.2 安装 gym[box2d]3.2.1 采用官方 GitHub 教程进行安装的报错及解决方案3.2.2 采用 Anaconda 进行安装3.2.3 测试能否成功运行 LunarLander-v2 环境3.3 安装 …

【一文秒懂——YAML配置文件】

目录 1. YAML配置文件 2. 实例 2.1 将原application.properties改为application.yml: 2.2 将原application-dev.properties改为application-dev.yml: 1. YAML配置文件 在Spring Boot项目中,还可以使用YAML配置文件,这是一种使…

一文搞懂漏洞严重程度分析

漏洞的级别定义主要从两个维度进行判断; 1、可利用性 2、影响性 可利用性指标 可利用性指标组刻画脆弱性组件(即包含漏洞的事物)的特征,反映漏洞利用的难易程度和技术要求等。可利用性指标组包含四个指标,分别是攻击…

最新阿里云GPU服务器租用配置费用价格表出炉(多配置报价)

阿里云GPU服务器优惠3折GPU云服务器vgn6i优惠价469.46元/月起,GPU云服务器gn6i和GPU云服务器gn6v均有活动,NVIDIA T4及V100均有活动,主机教程网 来详细说下阿里云GPU云服务器收费标准价格表,再来说说GPU云服务器计费模式&#xff…

Python学习笔记(十八)——Pandas进阶

文章主要内容文件操作: • 文件读取: read_csv(csv),read_table(表格),read_excl(excel) • 文件写入:to_csv, to_excel 数据清洗: • 处理缺失值:isnull(识别), dropna (过滤), fillna(填充) • 数据转换:drop_duplic…

MVCC多版本并发控制

目录 1、数据库并发场景 2、当前读和快照读 3、MVCC的隔离级别 4、实现原理 4.1、隐藏字段 ​​​​​​​4.2、Undo_log(版本链) 4.3、Read View(读视图) 4.4、RC、RR隔离级别下的快照读有什么区别 MVCC,多版…

文献认证!Kamiya艾美捷抗酒石酸酸性磷酸酶TRAP染色试剂盒

人类及动物体骨组织不断地进行着重建,骨重建过程包括骨的分解吸收与新骨的形成。破骨细胞(Osteoclast,OC)负责骨分解与吸收,而成骨细胞(osteoblast,OB)负责新骨形成。破骨细胞贴附在…

【WAX链游】发布一个免费开源的MiningNetwork合约脚本BTK

前言 挖矿网络(Mining Network)官网: https://miningnetwork.io 挖矿网络(Mining Network)合约脚本:https://github.com/encoderlee/MiningNetworkBot 回顾之前我们推出过的免费开源链游脚本&#xff1a…

【React技术】JSX在企业级项目的运用and一个元素渲染demo

JSX 它被称为JSX,是JavaScript的语法扩展。我们建议在React中使用JSX。JSX可以很好地描述UI应该呈现它应该具有的基本交互形式。JSX可能会让人想起模板语言,但它具有JavaScript的所有功能。 const element = <h1>Hello, world!</h1>;React认为渲染逻辑与其他UI…

红眼睛红外成像微型成像仪快速刷新与动态显示温度测量

默认参数下&#xff0c;设备的温度测量和数据输出频率为每秒 4Hz&#xff0c;这一输出速率基本可以保证所有计 算机和手机都能够正常显示实时画面&#xff0c;但导致的问题是实时画面有卡顿的感觉。数据的处理速度与 计算机和手机的配置高低有直接关系&#xff0c;下面仅以…

VScode 基础使用教程

VScode 的安装以及使用基础&#xff08;C配置&#xff09; 奉上VScode安装物资 VScode 的安装 进入VScode官网&#xff0c;点击 Download for windows 即可得到安装包&#xff0c;运行即可。 编译器G的配置 下载 MinGW&#xff0c;将其保存至任意磁盘中&#xff08;下面默认C…