大于100万行数据如何转换坐标、格网生成和裁剪、低格网数据提取

news2024/11/24 7:26:24

在工作过程中,对于100万以下的数据,我们一般使用EXCEL进行操作,但对于大于1百万行的数据,EXCEL也无能为力。此时,解决办法有三种:(1)拆分成几个小于100万的文件,再用EXCEL操作;(2)自编程序实现数据的读写;(3)使用Surfer操作。前两种方法操作耗时较长,而第三种方法的Surfer不能进行坐标投影转换。鉴于此,本文将介绍一种由博主亲测的好用的方法,这个方法需要用到二款软件:Surfer20和GeoSoft8.4.1。下面以CARIS输出的10m格网的1000万行水深点(纬度,经度,水深点)为例说明巨量数据投影坐标转换、格网生成和裁剪和低格网数据提取。

1、投影坐标转换使用Geosoft软件。

(1)新建GeoSoft项目,新建数据库,用于存放水深数据,导入水深数据(txt)。使用导入向导(wizard),导入数据,从第一行开始,并选择间隔符号。设置每一列的属性,主要是:是否导入,列名。如果希望导入列的排序不变,可在列名前加字母顺序(a,b,c等)。

新建数据库shuishen。

使用向导导入文本文件。

指定列名。1000万行数据导入大约1分钟。

(2)坐标转换,使用Coordinates/New Projected Coordinate System菜单命令。选择要转换的列,指定源坐标系统,然后选择转换后的列和目的坐标系统,投影坐标转换完成,耗时大约30秒。

指定要转换的列。

指定源坐标系统,大地坐标系统。

指定转换后的列。

指定目的坐标系统,墨卡托投影(中央经线120度,基准纬度39度)。

(3)导出转换后的坐标。

2、使用Surfer20生成10m格网。GeoSoft生成10m格网需要至少1天,Surfer20生成10m格网,不到1个小时。有的人可能会使用Fledermaus,其生成格网的速度比Surfer20快,但是会留下一些少量空洞。

建立bln文件,裁剪格网,bln文件的格式如下:

行数

x1,y1

x2,y2

...

xn,yn

首尾坐标相同,保证闭合

使用Surfer20的Grids/Assign NoData 裁剪grd,界面见下图。

grd文件裁剪的结果见下图。

3、提取低格网水深点。最后成图的格网一般比grd低一些,因此成图数据需要从grd上提取。使用Surfer20的Grids/Residuals可提取低网格的成图数据。

由于超出测量范围的低网格水深点为空,因此,我们需要剔除这些空值,选中A、B、C和D列,使用Grids/Sort,以D进行排序,删除空值的行。

最后,使用File/Save as输出提取的水深点。

4、小结

由于处理大于100万行的数据的机会不是很多,因此,使用此方法的时间间隔会比较长。每次使用都跟第一次使用一样,都会出现各种不顺利的状况,故而将此方法记录一下,便于检索查阅。

参考文献

https://blog.csdn.net/xiaokcehui/article/details/124959914

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/747296.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

机器学习原理

此次主要是由分类来引出 由于宝可梦的图片比较简洁,而数码宝贝的图片就显得比较复杂,我们计算出他们的轮廓,求出白色数量的多少。 e的函数会计算线条的复杂程度。当得出的线条的复杂程度,小于h。我们认为其是宝可梦,反…

Python(七)二进制

❤️ 专栏简介:本专栏记录了我个人从零开始学习Python编程的过程。在这个专栏中,我将分享我在学习Python的过程中的学习笔记、学习路线以及各个知识点。 ☀️ 专栏适用人群 :本专栏适用于希望学习Python编程的初学者和有一定编程基础的人。无…

Mac非brew方式安装OpenResty教程

本文版本基于openresty-1.15.8.1和pcre-8.4.4安装。 一、安装前准备 由于openResty本质上还是基于nginx和Lua的高性能Web平台,安装openResty前需要先安装好openssl和pcre。 小编的机器因为之前安装过nginx,所以openssl和pcre已经有了。openssl的安装目…

Python(六)转义字符和原字符

❤️ 专栏简介:本专栏记录了我个人从零开始学习Python编程的过程。在这个专栏中,我将分享我在学习Python的过程中的学习笔记、学习路线以及各个知识点。 ☀️ 专栏适用人群 :本专栏适用于希望学习Python编程的初学者和有一定编程基础的人。无…

包管理工具:npm、yarn、cnpm、npx、pnpm

yarn:  yarn是由Facebook(react)、Google、Exponent 和 Tilde 联合推出了一个新的 JS 包管理工具;  yarn 是为了弥补早期npm 的一些缺陷而出现的;  早期的npm存在很多的缺陷,比如安装依赖速度很慢、版本依赖混乱等等一系列…

【LeetCode: 1911. 最大子序列交替和 | 暴力递归=>记忆化搜索=>动态规划 】

🚀 算法题 🚀 🌲 算法刷题专栏 | 面试必备算法 | 面试高频算法 🍀 🌲 越难的东西,越要努力坚持,因为它具有很高的价值,算法就是这样✨ 🌲 作者简介:硕风和炜,…

【C#】设置输入法,解决扫描枪在中文状态下识别异常问题

系列文章 【C#】编号生成器(定义单号规则、固定字符、流水号、业务单号) 本文链接:https://blog.csdn.net/youcheng_ge/article/details/129129787 【C#】日期范围生成器(开始日期、结束日期) 本文链接:h…

【Redis】特殊数据类型 Stream (流)

🎯前言 除了五中基本的数据类型外,Redis还支持两种特殊的数据类型,第一种 Geo (地理位置):用于存储地理位置相关的数据,例如经纬度、距离等。第二种 Stream (流):是一个高级的列表类型,支持对列…

学习系统编程No.30【多线程控制实战】

引言: 北京时间:2023/7/7/9:58,耳机正在充电中,所以刚好让我们先把引言写一写,昨天睡觉前听了一会小说,听小说的好处就在于,它可以让你放下手机,快速睡觉,并且还有一定的…

python批量检测网站是否能打开

import requestsif __name__ "__main__":file_name input() #读取文件名fp1 open(file_name, "r") #以只读,打开文件for line in fp1.readlines(): #readlines 按行读取文件,会保留\n,返回一个(文…

3. MySQL - 数据类型 选项约束

目录 回顾 1. 命令行下的 MySql 客户端 2. 图形化界面的 MySQL-Client 3. 数据库概述 3.1 数据库管理系统是什么 3.2 工作模式 3.3 RDBMS 管理数据的结构 3.4 客户端连接服务器的信息 4. MySQL 中的数据类型 4.1 整型类型 4.2 字符串 4.3 日期/时间 5. MySQL 每个字…

【Ubuntu18.04 解决蓝牙wifi 之ax201无线网卡驱动安装】

【Ubuntu18.04 解决蓝牙wifi 之ax201无线网卡驱动安装】 1. 前言2. 更新linux内核 3. 下载安装intel ax201网卡驱动 1. 前言 台式机安装了双系统win11Ubuntu18.04系统,发现没有无线网卡和蓝牙,经查阅资料发现由于网卡刚没多久,Ubuntu没有集成…

服务器反向代理

反向代理作用 隐藏服务器信息 -> 保证内网的安全,通常将反向代理作为公网访问地址,web服务器是内网,即通过nginx配置外网访问web服务器内网 举例 百度的网址是:http://www.baidu.com , 现在我通过自己的服务器地…

Figma源文件导出技巧:提升效率的简易步骤

因为Figma,sketch,xd都支持导入sketch格式,所以我们只要将文件格式转成sketch,就能自由的在不同软件间导入导出。 现在就有一个网站可以帮助你快速简单的导入Figma、Sketch、XD 等格式文件,,还可以导出 Sketch 文件满足跨工具协作…

Nacos 服务注册和配置中心

文章目录 1 应用1.1 依赖1.2 配置文件 2 Nacos发现实例模型3 注册中心对比4 Nacos 支持AP和CP模式的切换4.1 何时选择何种模式? 5 Nacos 服务配置10.5.1 SpringCloud原生注解RefreshScope5.2 配置5.3 分类设计思想 6 Nacos 集群是持久化配置6.1 Nacos支持三种部署模…

Redis实战案例16-redisson的快速入门

1. 可能存在的问题 不可重入:基于SETNX实现的简单分布式锁通常不支持可重入性,即同一个客户端在获取锁后不能再次获取锁,否则会导致死锁。不可重试:如果多个客户端同时尝试获取锁但都失败了,并且没有重试机制&#xff…

基于RWKV-Runner大语言模型系统

RWKV Runner 旨在消除大语言模型的使用门槛,全自动处理AI对话,并且提供了OpenAI API兼容的接口。使用起来简单方便,但是还是比较吃机器,显存2G到32G都可以使用,根据自己的模型选择即可。 总结起来: 使用起来方便简单,上手容易。需要有电脑基础,很多地方还不是傻瓜化。需…

LayUI框架——选项卡等element组件使用

目录 前言 一、element组件 1. element基础方法 2. 更新渲染 二、动态实现选项卡 要求 1. 优化dao类 2. 优化前端JSP页面 3. 引入头部hand.jsp页面 4. 优化后台主界面js 5. 运行效果图 前言 在项目中我们需要编写许多页面,在页面中有许多元素需要自动去完…

【Unity编辑器扩展】字库裁剪工具, 优化字体文件大小,批量修改文本组件字体

原理: 1. 扫描项目中用到的字符集; 2. 把字体文件裁剪掉没用到的字符,仅保留项目中用到的字符; 3. 生成裁剪后的字体文件; 工具功能设计: 1. 支持通过拖拽字体文件或文件夹批量选择需要裁剪的字体文件。…

网络安全设备Bypass功能介绍及分析

网络安全平台厂商往往需要用到一项比较特殊的技术,那就是Bypass,那么到底什么是Bypass呢,Bypass设备又是如何来实现的?下面我就对Bypass技术做一下简单的介绍和说明。 一、 什么是Bypass。 大家知道,网络安全设备一般…