mapbox加载多个大数据图层并且播放的技术优化路线

news2024/11/23 15:24:57

先看成果图

请添加图片描述

介绍

首先介绍一下我这个数据有15W的面数据,可以即时渲染,即时加载,然后播放。

技术路线

首先这种数量级的大数据,用别的二维API是绝对不可行的,arcgis和openlayer自动放弃,leaflet最多可以坚持到五千个点要素,一个面要素最少也得三个点,再往上就得加插件了,不过效果也很差,十五万个面要素,leaflet也是绝对支持不了的,所以我们只能选择mapbox。
mapbox经过博主本人实际测试,加载一个十五万面要素,如果是矢量切片的格式,大约一个图层有30-50M左右,如果是geojson的格式,一个图层大概有400-500M内存,而浏览器限制,比如谷歌浏览器,一个单页面最多也就4G内存,可以说,放十个geojson的格式图层基本就页面崩溃了,所以大概可以放150W个面要素,再往上就顶不住了,经过博主本人实际测试,也是大概150W面要素,页面就会崩溃。

这样看来,矢量切片仿佛是最优解,可以放置更多的图层,而且矢量切片是按需加载,只加载当前页面看到的范围,加载浏览的速度快,但是问题来了,对于这种实时计算出来的数据,我们不可能每个图层发布一个矢量切片的服务。

但是我们对数据进行观察,其实基础面要素是一样的,只不过不同时刻的属性不一样,然后会对数据进行一个过滤,没数据或者数据小于等于0的不显示,那我们可不可以只加载一个面图层,然后请求数据,给每个要素塞数据,筛选分层设色然后渲染出来?

确定这样的技术路线之后,那矢量切片就不可行了,我们无法给矢量切片里面塞数据,那只能是使用geojson格式的数据。

确定数据源格式之后,我们就开始着手开始工作,首先我们可以发布一个基础的面要素图层,这个图层我们尽量搞的小一点,多余的属性能删的就删,地理编码不能删除,那就只保留一个面要素的id,从源数据上首先就要减少文件大小,保证其最小,要不然太占内存了,将这个服务发布成矢量切片,然后调用他的geojson格式,这部分请看我这篇博客

https://blog.csdn.net/Sakura1998gis/article/details/130207840?spm=1001.2014.3001.5501

这样下去,我们请求回来的原始geojson数据经过处理,15w面要素大概有40M,当然这只是他占磁盘的大小,存到我们的系统内存里面,大概有300M,要注意,这里的内存,不可以超过4个G,否则页面会崩溃。
在这里插入图片描述
具体代码大概这样,fullScreenLoading是一个loading,用户进入页面,就会先loading,调这个接口请求回来这个数据,然后把geojson存到内存里面。

    //加载十五万网格数据
    initGridLayer(){
      this.$axios({
            url:geoserverUrl+geoserverGeojsonHeader+'test'+geoserverGeojsonEnd,
            cache: false,
            async: true,
      }).then(res=>{
        const geojson =  res.data
        // this.setFilterGeoJSON(geojson)
        this.gridGeojson = geojson
        // localStorage.setItem('test',JSON.stringify(geojson))
        this.fullScreenLoading.close()
      });
    },

把数据请求回来之后,就要进行下一个优化,现在我们的面要素geojson文件,只有一个网格面的编号,那我们的数据该怎么拿来呢?这肯定需要一个接口,来从后台获取,但是数据的格式,也需要尽量精简,毕竟有15W条,最优解应该是返回txt文件,这样比json会更小一点。

我们的txt文件也不需要多少东西,就两列,一列编号,一列数据,比如我们这个要展示水深过程,那么第一列就是网格面的编号,第二列就是该网格点的水的深度,数据尽量精简。然后后台处理的时候。

如果我们要展示这种播放的效果的话,那么一个时刻就是一个图层,就需要一份txt文件,有多少图层,就需要多少份txt文件。

然后下一步就是要读取txt文件,通过对应编号,来把数据放到geojson里面,这里我们会新建一个geojson

     let resultGeojson = {
       "type": "FeatureCollection",
       "features": []
     }

读取txt文件

      //通过服务器上的txt地址,来获取文件
      let resMesh = await fetch(txtUrl).then(res => res.text())
      
      // 处理文件成为数据
      let pointRows = resMesh.split("\n");
      // console.log(resMesh,pointRows)
      for (let i = 0; i < pointRows.length-1; i++) {
   		  //这是数据的每一行
          let point = pointRows[i];
          //每一行的数组,P[0]即是每一行的第一个数据,也就是我们的编号,这个要看你们的txt格式安排
          let p = point.split(" ");
          //通过基础的geojson文件的编号,来找到对应的编号,然后把数据塞进去
          this.gridGeojson.features[Number(p[0])-1].properties[numberPosition.field] = p[numberPosition.numberPosition]
          //再把整个的改点的geojson数据,塞到我们新创建的geojson里面
          resultGeojson.features.push(this.gridGeojson.features[Number(p[0])-1])
      }

这里要说一句的是后台处理txt文件的时候,可以提前把没有数据的点给清楚掉,这样我们在前端处理数据的时候,可以少循环一些次数,减少处理数据的时间,毕竟我们要即时渲染。

然后在播放之前,我们建一个source,source是存数据的数据源,因为我们播放的那么多图层,其实网格都一样,都是那十五万个,就可以使用同一个数据源,layer也使用同一个。

      if(this.map.getSource('playLayer')){}else{
        this.map.addSource('playLayer', { //此处的vector是我们的source的id
          'type': 'geojson', 
          'data':[]
        })
	      this.map.addLayer({
	            id: 'playLayer',
	            name:'最大水深',
	            source: 'playLayer',
	            type:'fill',
	            popup:false,
	            filter:['!=',["to-number",["get","MaxWDepth"]],0],
	            paint: {
	                'fill-color':["step",["to-number",["get","MaxWDepth"]],'rgb(179,204,255)',0.5,'rgb(128,153,255)',1,'rgb(89,128,255)',2,'rgb(38,115,242)',3,'rgb(0,77,204)'],
	            },
	            layout: {
	                visibility: 'visible'
	            },
	        },)
      }

然后在播放切换图层的时候,我们先关闭掉上次的数据,注意这里我们不remove掉source,我们共用一个source,

     //关闭播放图层
     if(this.map.getLayer('playLayer')){
       this.map.getSource('playLayer').setData({})
     }

就给这个数据源塞入新的数据,挤掉上次的数据,这样虽然一个图层是500M,但是我们是来回渲染这一个图层一个source,就不会超过浏览器单页面4G的限制了。

      this.map.getSource('playLayer').setData(resultGeojson)

总结

总结一下就是:
api要使用mapbox,
网格数据源要使用geojson,并且尽量精简,删除无用的属性。
渲染的属性数据要从接口上获取txt文件来读取。
渲染的时候,共用同一个source,同一个layer。不反复移除layer,而是通过给geojson来setdata来更新数据,这样图层切换的时候不会突兀显示,而是有一个丝滑的动态效果

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/535479.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

漏测分析的目的

漏测分析的目的 漏测分析是软件测试过程中的一项重要工作&#xff0c;旨在识别和分析测试工作中可能存在的遗漏或疏漏&#xff0c;从而进一步提高软件质量和可靠性。 漏测分析的主要目的是找出未被覆盖的测试用例&#xff0c;即未能被测试到的功能或者代码路径。通过漏测分析&a…

纷享销客PaaS平台之“业务对象定制”

如何填补产品与市场之间的鸿沟&#xff1f;一定程度的定制化是高效运营的基础。 今天的企业需要的不再是简单的几套标准化系统&#xff0c;而是一个能够支撑业务常态化调整、兼具高性能与可扩展的弹性平台。 纷享销客PaaS平台基于元数据模型驱动&#xff0c;提供零代码和低代码…

【FMC148】8 路500MSPS/1GSPS/1.25GSPS 采样率14 位AD 采集FMC 子卡模块-具有出色的同步采集性能(AD9680)

板卡概述 FMC148 是一款基于VITA57.4 标准的JESD204B 接口FMC 子卡模块&#xff0c;该模块可以实现8 路14-bit、500MSPS/1GSPS/1.25GSPSADC 采集功能。该板卡ADC 器件采用ADI 公司的AD9680 芯片,全功率-3dB 模拟输入带宽可达2GHz。该ADC 与FPGA 的主机接口通过16 通道的高速串…

多表联查及mybatis中@Results,@ResultMap注解的应用

在实际的项目中&#xff0c;为了保证数据的简洁和查询的效率&#xff0c;通常会到采用多表联查。 那么什么是多表联查呢&#xff1f; 一般查询语句都是针对一个表的&#xff0c;但是在关系型数据库中&#xff0c;表与表之间是有联系的&#xff0c;所以在实际应用中&#xff0…

Vue3实现酷炫打字机效果:让你的网站文字动起来

✅创作者:陈书予 🎉个人主页:陈书予的个人主页 🍁陈书予的个人社区,欢迎你的加入: 陈书予的社区 🌟专栏地址: 三十天精通 Vue 3 文章目录 引言一、介绍1.1 什么是酷炫打字机效果1.2 Vue3框架简介二、创建Vue3项目2.1 安装Vue CLI2.2 创建Vue3项目2.3 运行项目

基于回归模型(贝叶斯岭回归、XGB、SVR等)销售额预测

博主在之前也写过较多的预测模型的文章&#xff0c;主要是基于LSTM&#xff0c;见下&#xff1a; 使用 Conv1D-LSTM 进行时间序列预测&#xff1a;预测多个未来时间步【优化】 使用 Conv1D-LSTM 进行时间序列预测&#xff1a;预测多个未来时间步 LSTM-理解 Part-1&#xff08;R…

Linux kernel 释出3.18.48,或将是3.18最后一版

Linux 稳定版内核维护者 Greg Kroah-Hartman 出人意料的宣布释出 Linux kernel 3.18 LTS的新版本&#xff0c;而 3.18 LTS 原计划于今年1月终止支持。Kroah-Hartman 释出了 3.18.48&#xff0c;修正了 3.18.47 和 3.18.27 的一个bug&#xff0c;他希望这个版本将是 3.18 分支的…

如何停止一个线程?

文章目录 停止线程的场景强制停止线程优雅停止线程使用标志位使用interrupt()方法 总结 前些天发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c;忍不住分享一下给大家。点击跳转到网站。 如何停止一个线程&#xff1f;这是本人面试中遇到…

Git之GitFlow工作流 | Gitflow Workflow(万字整理,已是最详)

目录 &#x1fa78; 写在前面 一、 GitFlow 介绍 1.1 什么是 GitFlow 1.2 GitFlow 常用分支说明 1.3 Git flow中的分支介绍 1.3.1 主要分支&#xff08;Master&#xff09; 1.3.2 开发分支&#xff08;Develop&#xff09; 1.3.3 功能分支&#xff08;Feature&#xff…

百度发布2023年Q1财报:营收311亿元,净利润大幅增长48%

北京时间5月16日&#xff0c;百度&#xff08;NASDAQ&#xff1a;BIDU&#xff0c;HKEX&#xff1a;9888&#xff09;发布了截至2023年3月31日的第一季度未经审计的财务报告。第一季度&#xff0c;百度实现营收311亿元&#xff0c;同比增长10%&#xff1b;归属百度的净利润&…

C++数据结构:哈希桶 -- 通过开散列的方法解决哈希冲突

目录 一. 什么是哈希桶 二. 哈希桶的实现 2.1 哈希表节点数据 2.2 特定Key值的查找find 2.3 哈希桶的扩容 2.4 数据插入操作insert 2.5 数据删除操作erase 2.6 哈希桶的析构函数 附录&#xff1a;哈希桶的实现完整版代码 一. 什么是哈希桶 之前的博客中我提到过&…

手机突然被停机了,那你可能‘摊上’这些问题了!

最近总是有小伙伴私信小编&#xff0c;手机明明有话费&#xff0c;但是不能用流量也不能打电话。小编一通分析&#xff0c;信号好&#xff0c;未欠费&#xff0c;八成是手机被停机了。结论一出&#xff0c;小伙伴更懵逼了&#xff0c;手机还可以被停机&#xff1f;今天这个视频…

一.手把手教你部署项目-VMware安装Centos

前言 市场内卷&#xff0c;只会写代码的程序员可没那么吃香了&#xff0c;在企业中很多时候会要求后端程序写前端&#xff0c;甚至做运维&#xff0c;因为小公司为了解决成本是不会请专门的运维人员的。所以对于后端程序原来说&#xff0c;会一些运维只是必不可少的&#xff0…

TCP协议/UDP协议(三次握手/四次挥手)

TCP协议 保证传输过程的三个关键的步骤&#xff0c;分别为三次握手、传输确认、四次挥手。 三次握手 三次握手是建立连接的过程&#xff0c;当客户端向服务端发起连接时&#xff0c;会先发一包连接请求数据&#xff0c;过去询问一下&#xff0c;能否与你建立连接&#xff0c;…

IPv4和IPv6协议

IPv4和IPv6报文比较 IPv4报文格式 IP Packet(IP数据包),其包头主要内容如下: Version:4 bit,4:表示为IPv4;6:表示为IPv6。 Header Length:4 bit,首部长度,如果不带Option字段,则为20,最长为60。 Type

找回 Windows 映射网络驱动器密码

随着越来越多的人使用 NAS&#xff08;网络云硬盘&#xff09;&#xff0c;各种网络映射驱动器的问题也随之出现。最近有个客户要换电脑。换电脑之后就无法访问 NAS 了&#xff0c;因为他记不得他 NAS 里边设置的用户名密码。还好他之前的电脑有保存这些密码记录。 第一次链接 …

【算法学习系列】02 - 你真的有好好使用过 Math.random() 函数吗?

文章目录 说明验证函数等概率返回功能验证 [0, 8)上也是等概率返回一个数的功能验证等概率返回[0, K - 1]中的一个整数实现&#xff1a;任意x&#xff0c;x属于[0, 1)&#xff0c;[0, x)范围上的数出现概率由原来的x调整成x平方 说明 获取随机数大家应该都有用到过 Math.random…

PMP课堂模拟题目及解析(第10期)

91. 在项目执行阶段&#xff0c;一名项目干系人要求项目经理加入一个新过程的优化。项目经理应该怎么做&#xff1f; A. 执行实施整体变更控制过程。 B. 与过程专家一起审查项目。 C. 将优化项目分配给团队。 D. 拒绝范围蔓延企图。 92. 项目经理要求团队提供对项目应急计…

【LeetCode】415. 字符串相加

415. 字符串相加&#xff08;简单&#xff09; 方法一 思路 这道题很简单&#xff0c;我们知道&#xff0c;如果对两个数相加&#xff0c;那么需要对位相加&#xff0c;为了方便对位&#xff0c;我们可以对长度较小的字符串前面补 0&#xff0c;使得 num1 和 num2 长度相等。…

美团Java开发一面凉经

目录 1.HashMap底层数据结构2.列举几个常见的线程安全容器3.HashMap线程问题4.concurrentHashMap5.ConcurrentModificationException6.Spring AOP、IOC、DI介绍下7.不使用依赖注入&#xff0c;使用传统方式的声明会有什么问题8.最左前缀原则9.TCP三次握手、四次挥手 1.HashMap底…