2022(一等奖)B22基于时空大数据的多维分析与传统二维分析相结合的大气污染变化研究方法探索

news2024/9/20 20:32:59

作品介绍

1 作品背景及研究对象

1.1 背景及必要性介绍

2022年春节期间,山东及多地的部分省市明确了禁放烟花爆竹的规定,直接表明了当今大气污染变化的严峻形势,燃放烟花爆竹会严重影响空气环境质量,加剧雾霾天气,产生噪音污染,且极易引发火灾和安全事故,造成人身伤亡和财产损失。不仅如此,我国也早已出台了《中华人民共和国大气污染防治法》等有关的法律法规,在国际上也是对全球性的大气污染采取了多项举措,全球环境问题是国际社会必须优先考虑的课题之一。大气污染也紧密地与我们的日常生产生活相关联,重大案例及报道也层出不穷的出现在人们眼前,可见对大气污染的重视程度不容小觑,合理及现代化的分析及解决办法也就显得尤为重要。

1.2 研究对象

空气质量指数(AQI),综合表示空气污染程度或空气质量等级的无量纲的相对数值,是一种反映和评价空气质量的数量尺度方法,就是将常规监测的几种空气污染物浓度简化成为单一的概念性指数数值形式,并分级表征空气污染程度和空气质量状况,主要分为下图所示的六级。

图1 空气质量指数(AQI)

2 设计思想

1.由于数据源的CSV表采集了大量的大气情况数据,造成了数据的冗余以及缺失等问题,需要对数据进行整理修复,对表格的字段进行处理。还要将经纬度转换为点,进行投影。

2.有经纬度的空气质量监测站点根据位置创建时空立方体,对其进行时间序列聚类,局部异常值分析Anselin Local Moran's I和新兴时空热点分析Getis-Ord Gi* 统计并在3D下显示,使用z得分,p值还要bin值等参数挖掘时空数据。

3.对全国全天的空气质量指数AQI求算平均中心并连接成线,在整体上展示大气的移动。用标准差椭圆的角度根据折线图显示不同时间的方向分布,在结论上与平均中心互补,更好的确定污染物的移动趋势。最后有不同省份的矢量与AQI点进行空间连接,汇总统计不同地区的污染情况。

4.3D经验贝叶斯克里金法EBK3D预测24小时各个地区的AQI,对测站点分布不均的地区进行补充,之后还要对插值预测模型的精度进行评估,由插值结果生成多维栅格,对其进行分区统计以及以表格显示的分区统计等操作。

5.使用空间自相关 (Global Moran's I)探究一定空间关系和距离下AQI存在的空间自相关性,增量空间自相关测量一系列距离的空间自相关,使用z得分峰值反映促进空间过程聚类最明显的距离,平均最近邻探究测站点的分布情况。

图2 基本流程示意图

 

 

3 主要功能

该部分以2019年4月28日为例进行介绍

1.全国全天范围内AQI数据分布探索

在对原数据整理完善后,探索数据的基本分布情况是后续操作的基石,用图表可以直接检验数据分布,做出平稳假设,在一定程度上反映出变异值的共性,查找出数据的离群值,图3反映出了AQI值大体符合正态分布的趋势,只有小部分的误差。图4的数据时钟图对全天24小时所有测站得到的AQI求取均值,可以看出所有地区平均在这一天的晚上18至24时污染最严重,0至9时污染最轻。

图3 AQI对数变换后和正态分布的比较

图4 一天范围内AQI均值的变化情况

2.时空数据挖掘

时间序列聚类标识时空立方体中最为相似的位置,对AQI值根据位置划分为不同的聚类,每个聚类的成员具有的时间序列特征均相似,即在相同的时间范围内AQI值相近,据此可探索出同一时间段内哪几个地区地污染情况是相似的。

图5 时间序列聚类分布图

图6在每个聚类的每个时间步长处显示了AQI的平均值,图7显示每个聚类的中心点时间序列,两图对总体的平均值以及按聚类细分的代表性时间序列进行了可视化,分别类似于使用平均值和中值来汇总AQI值。

图6 每个聚类的平均时间序列

图7 时间序列聚类 Medoids 算法

以3D形式可视化存储在 netCDF 立方体中的变量,图8图10和图11分别是对AQI值,新兴时空热点以及局部异常值创建的动画效果,相对于传统的图片,增加了变化的时间维度,更为生动地展示出全天的污染变化情况。

由图8可以看出,在2019年4月28日这天,在东北,华北,长三角,西南以及西北的一些地区有明显的大气污染,很长时间都在轻度污染以上。该时空立方体还附带了个图9.在3D时间序列图表中进行可视化,其含义与图4大致相同。

图8 AQI值全天变化

图9 在 3D 时间序列图表中进行可视化

图10是由时空热点分析Getis-Ord Gi* 统计生成的时空立方体,展示了每个立方的统计显著性特征和在AQI值聚类中的趋势,包含新增的热点和冷点、连续的热点和冷点、加强的热点和冷点等等,根据z得分,p值等参数赋予-3到3之间的bin值,对应90%,95%,99%的置信度以及不显著。

图10 时空冷热点全天变化

图11是根据聚类和异常值结果Anselin Local Moran's I 统计建立的时空立方体,为每个统计显著性立方分配的结果类型,对高-高聚类,高-低离散,低-高离散,低-低聚类进行不同时间的可视化,显示了AQI在时空邻域上存在统计差异的位置,但在这一天并没有发现显著的异常值结果。

该立方体还附带了图12.Moran I 散点图,对其统计发现线性趋势为y = 0.06272 + 0.71351 x,R²=0.7398036396

图11 局部异常值时空挖掘

图12 Moran I 散点图

3.度量地理分布模式

在时空整体上研究平均中心和方向分布,与在不同时间上的时空挖掘进行互补,图13和图14所示含义大致相同,污染物的移动方式近似于二次曲线,4月28号这一天在时空整体上向东北方向移动,关键在3点时回退了一点,4点后向东北方向前进,13到16点再次回退,之后改变方向,说明在时空整体上向东北是因为东北方向污染加重,回退是因为西南方向污染加重,同时在8到10点,16到17点还存在东南方向污染加重。

图13 全国范围内AQI中心移动变化示意图

图14 全国AQI方向分布角度变化

图15包含3个维度,X轴的省份,Y轴的时间还有用颜色深浅表示AQI值,统计了各省份的污染情况。

图15 用于不同地区和时间的AQI 总和

4.地统计插值预测

因为空气质量监测站以黑河腾冲线为界东多西少,使用3D经验贝叶斯克里金法EBK3D插值预测24小时各个地区的AQI,由插值结果生成多维栅格,对测站点分布不均的地区进行补充。

图16 全国范围内全天AQI插值预测动画

插值预测模型总会存在误差,对模型精度的评估是非常重要的一项工作,如图17所示,预测与实际的差值越接近0值越精确。

图17 插值模型精度评估

5.地理要素的全局模式

如图18使用的是空间自相关 (Global Moran's I),使用z得分评估模式的类型及其统计显著性,,对于AQI的z得分远大于1.65,有明显的集聚模式。图19平均最邻近度量了测站点彼此之间的空间邻近性,测站点在全局上最邻近比率0.000007远小于1,z得分远小于   -2.58,属于高度聚集。图20增量空间自相关评估不同的距离阈值下的全局空间模式,测量了一系列距离的空间自相关,虽然从0到1000米的范围内z得分大于2.58,存在多个折点,但没有明显的峰值来反映促进空间过程聚类最明显的距离。

图18 AQI的空间自相关

图19 平均最近邻

图20 增量空间自相关

4 作品特点

多时效:可根据实际情况处理任意时间段的数据,例如某时,某天,甚至是某几个月或年,分析思路以及方法大致相同。

可视化:对传统的表格数值型数据进行处理,用图示或者动画的方式进行展现,对业内及业外人士具有较高的方便性。

多维大数据:由二维拓展到时空大数据,综合运用多项分析方法,使得结果更为合理全面,对数据挖掘的更为细致。

流程化:基于模型的构建实现对繁琐工作的整理,使得对重复以及琐碎的分析步骤归为一类,处理方便快捷,同时还有自定义参数的设置,方便用户的不同需求。

多角度:在不同角度看待同一问题,使得结果更为合理准确,增加了对空间分析功能的可拓展性,适合不同的应用场景。

5 设计前景展望

本作品主要在于对时空大数据和未来有着很大的发展潜力的多维分析方法以及与GIS领域经典的二维分析多方面相结合的综合考量,面向未来的AI技术,可以结合深度学习实现更加准确的评估预测,综合考虑地域差异以及多方变量的影响,还可以在对数据深入了解后通过提供更为精确的模型参数实现更加准确的评估,希望今后可以结合更为先进的技术及产品进行数据补充,进一步完善时空信息,实现对大气污染的更为精细化的建模,为环境保护、资源节约利用等研究提供更精确的分析。相信在未来可以对新兴时空大数据的挖掘及处理做得更为彻底。

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/675610.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【Linux】CentOS7 设定虚拟机时间为本机当前地区时间的简单操作

目录 情景系统环境操作 情景 新安装的虚拟机时间和当前本地系统时间不一致,现在想要将虚拟机和本机地区的时间调节为一致。 系统环境 CentOS Linux 7 系统界面大致如此。 操作 点击虚拟机界面左上角的 Applications 选项, 选择System-Tools-- Sett…

熵、KL散度和交叉熵

首先我们需要知道,所有的模型都可以看作是一个概率分布模型,包括人脑进行图像分类时也可以看作是一种完美的模型 1、信息量 如果学过通信应该知道香农定义了信息量的的概念,我们能够理解一件事情信息量很大或者很小,但是如何用数…

操作系统 - 进程和线程

✅作者简介:人工智能专业本科在读,喜欢计算机与编程,写博客记录自己的学习历程。 🍎个人主页:小嗷犬的个人主页 🍊个人网站:小嗷犬的技术小站 🥭个人信条:为天地立心&…

陈香菲九价疫苗接种sop

前文 什么时间 正常时间 ● 正常接种按照接种时间,需要在2023-06-28 08:00-17:00 前往指定卫生院预防接种门诊进行接种。 时间异议 ● 正常来说如果接种时间内来大姨妈或者最近有服用一些药物的话是不能进行接种的,具体药物品…

chatgpt赋能python:Python爬虫防屏蔽策略及技巧

Python爬虫防屏蔽策略及技巧 介绍 爬虫作为一种数据采集工具,越来越广泛地应用于众多领域,包括搜索引擎优化(SEO)、产品分析、市场调研等等。然而,随着爬虫数量的不断增加,许多网站已经采取了多种方法来屏…

【Spring Cloud Stream 消息驱动】 —— 每天一点小知识

💧 S p r i n g C l o u d S t r e a m 消息驱动 \color{#FF1493}{Spring Cloud Stream 消息驱动} SpringCloudStream消息驱动💧 🌷 仰望天空,妳我亦是行人.✨ 🦄 个人主页——微风撞见云的博客&#x1f390…

ECharts数据可视化

目录 第一章 什么是ECharts 第二章 搭建环境 2.1 Echarts的下载 2.2 Visual Studio Code下载 第三章 一个简单的可视化展示 第四章 Echarts组件 4.1 标题 4.2 提示框 4.3 工具栏 4.4 图例 4.5 时间轴 4.6 数据区域缩放 4.6.1 滑动条型数据区域缩放 4.6.2 内置型…

chatgpt赋能python:烧录单片机程序:Python的力量

烧录单片机程序:Python的力量 随着技术的发展和人类渴求的不断追求,电子设备的普及程度越来越高。在一个电子设备内部,单片机的应用非常广泛。然而,单片机作为计算机的重要组成部分,也需要相对应的程序来实现不同的功…

实战:Gradle构建工具实践-2023.6.22(测试成功)

实战:Gradle构建工具实践-2023.6.22(测试成功) 目录 推荐文章 https://www.yuque.com/xyy-onlyone/aevhhf?# 《玩转Typora》 实验环境 gitlab/gitlab-ce:15.0.3-ce.0 jenkins/jenkins:2.346.3-2-lts-jdk11 gradle-7.6.1 openjdk 11.0.18实验软件 链接&#xff1…

x-s参数逆向

x-s参数逆向[2023.6.22] 1.提要 众所周知,此次的加密逻辑进入一个叫window._webmsxyw()的函数里面 该函数是封装在一个自执行函数内部,并添加到了window属性里,下面是两种获取思路。 2.扣环境 扣环境的话,只需要在jsdom的docu…

内存耗尽后Redis会发生什么?

作为一台服务器来说,内存并不是无限的,所以总会存在内存耗尽的情况,那么当 Redis 服务器的内存耗尽后,如果继续执行请求命令,Redis 会如何处理呢? 内存回收 使用Redis 服务时,很多情况下某些键…

2023 node 接入腾讯云短信服务,实现发送短信功能

1、在 腾讯云开通短信服务,并申请签名和正文模板 腾讯云短信 https://console.cloud.tencent.com/smsv2 a、签名即是短信的开头。例如 【腾讯云短信】xxxxxxx; b、正文模板即短信内容, 变量部分使用{1}, 数字从1开始累推。例如&a…

Golang每日一练(leetDay0104) 最小高度树、戳气球

目录 310. 最小高度树 Minimum Height Trees 🌟🌟 312. 戳气球 Burst Balloons 🌟🌟🌟 🌟 每日一练刷题专栏 🌟 Rust每日一练 专栏 Golang每日一练 专栏 Python每日一练 专栏 C/C每日一…

MindSpore-TOOD模型权重迁移推理对齐实录

准备工作 环境: wsl2 Ubuntu 20.04 mindspore 2.0.0 python 3.8 pytorch 2.0.1 cpu 基于自己编写的mindspore TOOD项目和MMDetection实现的pytorch权重来做迁移, TOOD论文pytorch mmdetection实现 tood_r50_fpn_1x_coco权重 论文中的代码也是用mmdet…

浅谈前后端交互的基本原理

本文受众人群: 前端/后端开发工程师;Web应用程序设计师;项目经理;产品经理等。 为什么要去了解? 了解前后端交互的基本原理对于从事与Web开发相关的角色的人群是非常重要的。这包括前端开发工程师、后端开发工程师、全…

【Java高级语法】(十三)注解:解码程序设计中的元数据利器,在小小的@符里挖呀挖呀挖~用小小的注解做强大的开发...

Java高级语法详解之注解 1️⃣ 概念2️⃣ 优势和缺点3️⃣ 使用3.1 元注解3.2 自定义注解3.3 常用内置注解 4️⃣ 应用场景5️⃣ 扩展:那些流行框架中的注解🌾 总结 1️⃣ 概念 Java 注解(Annotation) 是Java语言中一种元数据形式…

chatgpt赋能python:Python爬虫速度分析:如何加速你的爬虫?

Python爬虫速度分析:如何加速你的爬虫? Python作为一种优秀的胶水语言,被广泛应用于web开发、数据处理等众多领域。在众多应用场景中,Python爬虫无疑是其中之一。然而,在爬取海量数据时,爬虫的速度往往成为…

Arthas原理分析

在日常开发中,经常会使用到arthas排查线上问题,觉得arthas的功能非常强大,所以打算花了点时间了解一下其实现原理。并试着回答一下使用Arthas时存在的一些疑问。 Arthas主要基于是Instrumentation JavaAgent Attach API ASM 反射 OGNL等…

chatgpt赋能python:Python点的用法

Python点的用法 作为一名有着10年Python编程经验的工程师,我发现很多初学者对Python的点(.)用法存在疑惑。因此,在这篇文章中,我将详细介绍Python点的用法,并希望能够对这个问题有一个全面的认识。 什么是点 在Python中&#x…

Linux Xshell配置public key实现免密登录linux服务器

linux服务器安装成功后,登录linux服务器的工具有很多中,例如:Xshell、SecureCRT等等。而我所服务的用户使用xshell工具来对linux服务器进行运维。 当使用xshell登录linux服务器时,xshell提供了三种身份验证方式: 1.P…