ArcGIS Pro 3.4新功能3:空间统计新特性,基于森林和增强分类与回归,过滤空间自相关

news2025/2/26 18:58:20

目录

应用 1:它是相关性还是托布勒第一定律?

应用 2:将空间带入非空间模型

结论


在 ArcGIS Pro 3.4 中,我们在新的空间组件实用程序(Moran 特征向量)工具集中发布了一个新工具 -  从字段过滤空间自相关。此工具允许我们获取数值变量并从中提取空间模式。它给了我们所谓的过滤变量和一个或多个空间组件。过滤后的变量表示从原始变量中提取可识别的空间模式后得到的变量。想象图 1 中描绘的场景,绿色的数值变量在南部和东南部地区显示更高的值。通过应用从字段过滤空间自相关工具,变量被分为非空间部分和空间部分。以蓝色显示的非空间部分表示空间过滤变量。从原始变量中删除的空间模式被捕获在相应的空间组件中。一个组件显示东南部和非东南部地区的模式,而另一个组件突出显示非中西部和中西部模式。这些成分各自代表特定尺度的空间自相关,彼此之间不相关。

图片

此工具在两种情况下非常有用。首先,它帮助我们探索两个变量之间的关系,同时减少邻近影响的干扰。其次,它通过消除空间错误指定来增强回归和机器学习模型,并可以使非空间模型成为空间模型。

应用 1:它是相关性还是托布勒第一定律?

“研究人员如何知道变量 y 和变量 x 是否以有意义的方式相互关联,或者它们是否仅仅因为“一切都与其他一切相关”而显得相关?”(Thayn,2017)

作为地理学家或 GIS 分析师,我们认识到大多数现象并非独立于空间而存在。我们相信托布勒地理学第一定律——“万事万物都相互关联,但近处的事物比远处的事物关联性更强。”空间数据的这一独特方面往往违背了观测值相互独立的统计假设。因此,在评估两个变量之间的关系时,很难判断它们的关系是真实的还是仅仅是显著的空间自相关的结果。

例如,下图是波士顿老房子比例与一氧化氮浓度关系的散点图。该图表明,两者呈正相关。随着老房子比例的增加,一氧化氮浓度也上升。

图片

然而,当观测值受到相邻数据点的影响时,确定图 2 中所示的强正关系就变得具有挑战性,因为这可能是由于空间自相关的混杂影响造成的。如果你看看老房子和新奥尔良的地图(下面的2幅图),你会注意到这两个变量都表现出很强的空间聚类性。

图片

图片

这就是“从文件过滤空间自相关”工具发挥作用的地方。它帮助我们从变量中分离出空间成分,使我们能够独立于相邻变量的影响来研究两个变量之间的关系。在该工具中,我首先选择波士顿数据作为输入特征。然后,下面两幅图显示了用于过滤房屋年龄和一氧化氮字段的工具对话框。

图片

图片

通过两次运行此工具生成了两个输出。一个输出地图基于过滤后的 AGE 进行符号化,表示波士顿老房子的比例,不受空间影响(见下面第一张图)。第二张地图展示了过滤后的一氧化氮,显示了过滤空间自相关后的 NO 浓度。

图片

图片

过滤步骤可以在地理处理消息中找到。例如,图 9 演示了如何在四次迭代后消除 AGE 中存在的空间自相关。最初,Moran's I 指数为 0.3206,P 值为 0.001,表明存在显著的空间自相关。从 AGE 中过滤四个空间成分后,Moran's I 指数下降,P 值增加到 0.99。这一变化告诉我们空间自相关不再显著。

图片

现在,下图展示了滤除空间影响后两个变量之间的关系。将应用1的第一幅图与下图进行比较,我们会发现,应用1的第一幅图中显示的强正相关关系很大程度上是由于共享的空间关系,但滤除空间关系后仍然存在一些相关性。

图片

应用 2:将空间带入非空间模型

如前所述,空间数据经常违反传统统计方法的假设,导致估计有偏差和结果可疑。然而,通过整合从字段过滤空间自相关工具返回的空间组件,我们可以将空间信息纳入非空间模型,将其转变为空间感知模型。

举个例子,我们有俄亥俄州的人口统计数据,使用基于森林和增强分类与回归工具构建了一个基于森林的模型。我们的目标是更深入地了解贫困因素,并估计实施潜在干预计划后的贫困百分比。

选择过去 12 个月收入低于贫困水平的人口百分比作为要预测的输入变量。所选的解释训练变量包括:

  1. 受赡养年龄组人口百分比(18 岁以下和 65 岁以上)

  2. 外国出生人口百分比

  3. 房屋自有率:自住住房占已入住住房的百分比

  4. 25 岁及以上人口中最高教育程度为学士学位或更高学位的百分比。

最后,将输出训练特征保存为Poverty_Pred,然后点击运行。

图片

运行该工具后,得到了一个输出训练层,其中显示了其标准化残差(下面第一幅图)。让我们看一下地图,可以注意到两个聚类:绿色阴影的县位于东南部,而紫色阴影的县聚集在西北部。该残差图表明,该模型倾向于低估东南部地区的贫困率(%),而高估西北部地区的贫困率。换句话说,模型的残差中存在明显的空间自相关性。这突显了不同地区预测能力的不平等,表明这种基于森林的模型无法解释数据中存在的某种空间模式。模型性能也需要改进,因为目前的验证 R 平方为 0.578(下面第二幅图)。

图片

图片

为了解决基于森林的模型中的空间偏差,我使用了“从字段过滤空间自相关”工具。

打开该工具,并选择Poverty_Pred(基于森林的模型生成的输出)作为输入特征。

选择标准化残差作为输入字段,指定Poverty_Pred_FilterSpatialAutocorrelationFromField作为输出特征,并且运行该工具。

图片

此工具生成的输出要素不仅包含过滤后的输入字段,还包含与输入字段隔离的空间组件。在这种情况下,空间组件表示我们在上方地图中看到的基于森林的模型无法解释的空间模式。因此,基于森林的模型中包含此空间组件后,该模型可能能够解决预测能力的空间分布不均的问题。

  1. 重新打开基于森林和增强分类与回归,而不是原来的poverty_Ohio。

  2. Poverty_Pred_FilterSpatialAutocorrelationFromField作为输入训练特征。

  3. 保留了大部分预测变量和解释训练变量,同时添加了空间成分作为额外的解释训练变量。

  4. 然后,点击运行。

图片

下图显示了改进的效果。训练 R2 从 0.903 增加到 0.938。更重要的是,验证 R2 从 0.578 显著增加到 0.819,同时所有误差(包括 MAE、MAPE 和 RMSE)均有所减少。这种改进的基于森林的模型表明该模型更加可靠,我们对解释变量重要性和估计贫困率更有信心。

图片

让我们看看变量重要性,注意到我添加到模型中的空间组件位于顶部。空间组件正在捕获我们在原始训练数据集中没有的空间过程,这可能是俄亥俄州贫困的一个关键指标。

图片

我们甚至可以绘制空间成分图,以查看对贫困率影响巨大的空间模式。该成分的模式在俄亥俄州阿巴拉契亚地区显示较高值,而在俄亥俄州非阿巴拉契亚地区显示较低值,这表明我们在试图减轻俄亥俄州的贫困时应该关注这种明显的空间差异。空间成分还为我们提供了应该将哪些现实世界变量纳入模型的见解。当我们不知道可能缺少哪些变量时,应该使用空间成分作为替代。只要有可能,总是建议采用可测量的替代方案。

图片

结论

在这篇文章中,我们展示了“从字段过滤空间自相关”工具如何在两种情况下发挥作用。首先,它通过过滤空间的影响来帮助我们评估两个变量之间的关系。其次,空间成分可以作为模型中缺失的重要解释变量的代理变量。通过将成分添加到非空间机器学习模型中,模型将转变为空间模型,而无需修改模型的结构。此外,从残差中分离出来的空间成分为我们的模型中可能被忽视的现实世界变量提供了宝贵的见解。

转载请注明出处:ArcGIS Pro 3.4新功能3:空间统计新特性,基于森林和增强分类与回归,过滤空间自相关

作者:ArcGIS中国培训中心 www.higisedu.cn

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2265094.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

webserver log日志系统的实现

参考博客:https://blog.csdn.net/weixin_51322383/article/details/130474753 https://zhuanlan.zhihu.com/p/721880618 阻塞队列blockqueue 1、阻塞队列的设计流程是什么样的 它的底层是用deque进行管理的 阻塞队列主要是围绕着生产者消费者模式进行多线程的同步和…

深度学习实战之超分辨率算法(tensorflow)——ESPCN

espcn原理算法请参考上一篇论文,这里主要给实现。 数据集如下:尺寸相等即可 针对数据集,生成样本代码preeate_data.py import imageio from scipy import misc, ndimage import numpy as np import imghdr import shutil import os import…

Unity3d 基于UGUI和VideoPlayer 实现一个多功能视频播放器功能(含源码)

前言 随着Unity3d引擎在数字沙盘、智慧工厂、数字孪生等场景的广泛应用,视频已成为系统程序中展示时,不可或缺的一部分。在 Unity3d 中,我们可以通过强大的 VideoPlayer 组件和灵活的 UGUI 系统,将视频播放功能无缝集成到用户界面…

WebGAL 项目下载及安装教程

WebGAL 项目下载及安装教程 WebGAL A brand new web Visual Novel engine | 全新的网页端视觉小说引擎 [这里是图片001] 项目地址: https://gitcode.com/gh_mirrors/web/WebGAL 1、项目介绍 WebGAL 是一个全新的网页端视觉小说引擎,旨在提供美观、功能强大且易于…

虚幻引擎是什么?

Unreal Engine,是一款由Epic Games开发的游戏引擎。该引擎主要是为了开发第一人称射击游戏而设计,但现在已经被成功地应用于开发模拟游戏、恐怖游戏、角色扮演游戏等多种不同类型的游戏。虚幻引擎除了被用于开发游戏,现在也用于电影的虚拟制片…

Kubernetes 架构图和组件

🧑 博主简介:CSDN博客专家,历代文学网(PC端可以访问:历代文学,移动端可微信小程序搜索“历代文学”)总架构师,15年工作经验,精通Java编程,高并发设计&#xf…

GESP2024年12月认证C++五级( 第三部分编程题(2))

参考程序&#xff1a; #include<bits/stdc.h> using namespace std; #define ll long long int n, m; int cnt[1010]; vector<int> cs[1010]; ll calc(int aim) {int cur_cnt cnt[1];ll res 0;vector<int> tmp;for (int i 2; i<n; i){int buy max((…

基于DockerCompose搭建Redis主从哨兵模式

linux目录结构 内网配置 哨兵配置文件如下&#xff0c;创建3个哨兵配置文件 # sentinel26379.conf sentinel26380.conf sentinel26381.conf 内容如下 protected-mode no sentinel monitor mymaster redis-master 6379 2 sentinel down-after-milliseconds mymaster 60000 s…

npm error code ETIMEDOUT

参考:https://blog.csdn.net/qq_38572963/article/details/142052986 二、解决办法 1、清空缓存 npm cache clean --force 2、查看当前的npm镜像设置 npm config get registry 3、切换新镜像源 npm config set registry https://registry.npmmirror.com 4、查看新源是否设置成功…

【终端工具】FinalShell v4.5.12 官方版

1.下载地址 【终端工具】FinalShell v4.5.12 官方版 2.简介 FinalShell是一款免费的跨平台远程管理工具&#xff0c;专为开发者和运维人员设计。它支持通过 SSH、SFTP 等方式连接到 Linux 和 Windows 服务器&#xff0c;提供类似于终端的操作界面。除了常规的远程登录功能&a…

微前端qiankun的使用——实践

qiankun 创建主应用项目——vue2 main.js注册子应用 $ yarn add qiankun # 或者 npm i qiankun -Simport { registerMicroApps, start } from qiankun; import Vue from "vue"; import App from "./App.vue"; import router from "./router"; …

ansible play-book玩法

使用ansible-playbook实现安装nginx_ansible 安装nginx-CSDN博客文章浏览阅读1.5k次&#xff0c;点赞14次&#xff0c;收藏19次。本文详细介绍了如何在Linux环境中准备Ansible环境&#xff0c;包括配置主机、下载和安装Ansible&#xff0c;以及使用yum模块和tar包源码安装Nginx…

Require:离线部署 Sourcegraph

Sourcegraph 使读取、编写和修复代码变得容易——即使在庞大而复杂的代码库中。 代码搜索&#xff1a;搜索所有分支和所有代码主机的所有存储库。代码智能&#xff1a;导航代码、查找引用、查看代码所有者、跟踪历史记录等。修复和重构&#xff1a;一次对许多存储库进行大规模更…

大数据新视界 -- Hive 集群性能监控与故障排查(2 - 16 - 14)

&#x1f496;&#x1f496;&#x1f496;亲爱的朋友们&#xff0c;热烈欢迎你们来到 青云交的博客&#xff01;能与你们在此邂逅&#xff0c;我满心欢喜&#xff0c;深感无比荣幸。在这个瞬息万变的时代&#xff0c;我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而 我的…

Windows搭建域控服务器时本地administrator账户密码不符合要求解决办法

cmd命令行执行以下命令&#xff0c;再重试&#xff1a; net user administrator /passwordreq:yesWindows Server 2016 域控服务器搭建教程&#xff1a;https://blog.csdn.net/u010091664/article/details/122072506

【研究生必备|学术会议|高录用|见刊后1个月检索】第三届材料科学与智能制造国际学术会议(MSIM2025)

用处 1. 学术交流 参加学术会议是展示您研究成果和获取反馈的绝佳机会。在会议上&#xff0c;您可以与来自各地的研究者进行深入交流&#xff0c;讨论最新的研究动态与趋势&#xff0c;分享经验与观点。 2. 拓展人脉 学术会议汇聚了来自不同高校和研究机构的优秀学者和学生。…

ubuntu开机进入initramfs状态

虚拟机卡死成功起后进入了initramfs状态&#xff0c;可能是跟文件系统有问题或者检索不到根文件系统&#xff0c;或者是配置错误&#xff0c;系统磁盘等硬件问题导致 开机后进入如下图的界面&#xff0c; 文中有一条提示 要手动fsck 命令修复 /dev/sda1 命令如下 fsck /de…

C# 线程安全集合

文章目录 引言一、ConcurrentBag<T>二、ConcurrentQueue<T>三、ConcurrentStack<T>四、ConcurrentDictionary<TKey, TValue>五、总结引言 在多线程编程环境中,多个线程可能同时访问和操作集合数据。如果使用普通集合,很容易引发数据不一致、错误结果…

S32K324 MCAL中的Postbuild和PreCompile使用

文章目录 前言Postbuild和PreCompile的概念MCAL中配置差异总结 前言 之前一直看到MCAL配置中有这个Postbuild和PreCompile的配置&#xff0c;但是不太清楚这两个的区别和使用方法。最近在使用中出现了相关问题&#xff0c;本文介绍一下MCAL中这两种配置的区别和使用。 Postbu…

中国电信网络下多方通话 SIP消息交互记录

如下表格记录了一个日志中,在中国电信网络下多方语音通话 发起方的 SIP消息交互记录,省略部分SIP消息,记录下和多方通话的重要SIP消息。 progress1:发起方A通过拨号盘呼叫B 此操作建立A和B之间的通话,网络会向终端分配QCI=1的专有承载。 同时此专有承载包含四个pkt_filt…