前情提要
最近需要使用EC的一些数据,摸索下载过程中顺便记录下来,综合了EC上免费数据集的两个数据集的下载方式,使用python脚本下载
相比在网站上操作下载,个人更推荐脚本下载,官方已经封装好了两个库直接可以方便使用不需要爬虫操作,同时使用脚本下载可以更加便捷,通过更改参数可以自定义下载逻辑,放在服务器上下载也更加方便
一、EC公共数据集下载方式
官网公告:ECMWF 公共数据集服务即将停用,对大多数数据集的访问已关闭 或在 2023 年 6 月迁移到其他系统
目前只剩下两个数据集可以进行下载,并在2024年也将迁移至别的地方,但目前也是可以使用python进行批下载
EC公共数据集网址
1.1 注册EC账号并获取API Key
注册流程就不说了,很常规的注册流程,注册完之后打开这个链接,可以查看自己的API Key
1.2 创建配置文件
- windows用户就在用户目录根目录新建一个文件,命名为.ecmwfapirc
- 之后将刚才的API Key原封不动粘贴上去
1.3 Python环境配置
python的安装略过,可以使用pip或者conda安装,谁装的上用哪个
pip install ecmwf-api-client
1.4 获取下载脚本并下载
- 以其中的S2S数据为例,一路点进去选择好自己需要的数据之后,就可以自动创建下载脚本
- 将内容复制到python脚本中,运行即可
注意:如果想要下载nc格式的,需要在这个字典中添加format
二、Climate Data Store数据下载(包括ERA-5)
- 在官网这个位置,点进去也是一个包罗万象的数据集,比如ERA-5的数据都可以在此下载
2.1 注册账号获取API Key
- 同样注册好之后可以进入user profiles查看自己的API Key
2.2 创建配置文件
与EC公共数据集类似,也要在用户根目录创建名为.cdsapirc的文件
文件内容可以访问这个网址,就可以看到自己属于自己的键值对,直接拷贝进文件中保存
2.3 Python环境配置
安装cdsapi
pip install cdsapi
2.4 获取下载脚本并下载
以ERA5为例,在网站中找到ERA5数据之后
选好需要的参数之后,点击show API request
复制到一个py脚本中运行即可