在一些模型运算过程中我们需要将栅格数据转换为CSV数据进行计算输入。但栅格数据转换成矢量(CSV)后非常非常大。这个数据通常会是GB级别的。对于我们一般电脑运算的话,可能会非常困难,而且运算越复杂你不成功的几率越大
!当然你可以买更好更多的服务器来完成任务,但是不是应该节约点国家资源?另外这软件不行靠硬件升级来搞定,总感觉像医疗行业某些医生医术不行,只能靠卖药来提高收入一样!不太讲究!
所以在同样的硬件环境下我们一样可以调整软件的算法和数据结构提升运行效率!而在软件不可改变的情况下可以尽量减少参与运算的数据量,这样可以减少软件对不必要数据运算和缓存,以适应我们的硬件环境!
下面介绍利用GIS数据转换器-栅格如何将栅格数据转换为CSV数据及如何优化到最小输出结果!
如何转化,这个非常简单,我还是用一张图来展现,让您秒懂。
但是这样转换出来的数据会有上6G的数据量,电脑运行的软件,尤其是复杂计算软件基本上用不了的!而且转换、运算过程都非常耗时!因此需要做一下优化!
-
数据优化首先在转出过程中设置过滤值,这是因为在栅格数据其实都含有大量无效值。这是栅格本身特性决定的,但转成矢量这些数据都是不需要的,因此还需要过滤掉这些无用的数据!具体方法如下:
2.转出的数据,还会有一些无用的数据
GEOSJSON ,GEOSWKT在新版GIS数据转换器-栅格4.3 我已经去掉,我感觉有点多余!剩下ID,和CENTERX,CENTERX您不需要您自己删除一下。因为这个我不确定!这样您的数据就得到最大优化了。剩下数据大约有9M多一点!基本上做任何运算都没问题了!
提示:请手动更新工具最新版本,因为我们在最新版本上会做功能增加和发现BUG的修改!由于GIS的特殊性,为了网络安全,工具不会做自动更新!下载地址关于软件下载20230816