目录
前言
一、空间表设计
1、物理表结构
二、后台数据管理
1、数据去重
2、去重的具体实现
3、度分秒数据格式转换
4、具体的转换方法
5、新增界面的实现
三、数据管理界面
总结
前言
众所周知,漂亮国在全球范围内部署了大量的基地,用以维持其打击能力。这里无意于讨论这些部署的事情。只是作为一个GIS开发者,使用地理信息的视角来看看其到底分布在全球的哪些地方,在之前的博客中,我们曾经介绍了使用Java去解析KMZ和KML数据,这份数据就是其它博主分享的漂亮国海外基地的分布情况。这是一份数据源,同时我们在某度百科上也能找到一些公开的资料,上面公布了一些国内或者海外基地的坐标信息。
要想实现在WebGIS中直观的显示这些位置,首先要解决数据的管理问题。之前我们在使用GDAL的KMZ数据解析中,通过在数据中查看具体的数据可以看到。其提供的数据中,应该是有重复的。我们采用基地名称和位置wkt字符串作为分组查询,可以发现有很多的数据的条数是大于2的。因此可以判定出是有数据的重复,因此要求我们对入库的数据进行去重。同时由于在互联网上公开的数据中,有一些位置信息是以度分秒的形式给出的。对于常见的坐标,我们都是采用纯数字的经纬度来展示的。那么怎么将度分秒的位置信息转换成常见的经纬度信息呢?
这就是本文的由来,本文将以java语言为例,详细介绍如何管理漂亮国的基地信息。为下一步全球的空间可视化打下坚实的基础,首先介绍如何对数据进行去重处理,然后介绍在java当中如何进行度分秒位置的转换,最后结合实现原型进行详细的说明。通过本文,您可以掌握如何管理这些矢量数据,同时知道如何进行空间数据的去重,还可以掌握如何进行度分秒数据的转换,欢迎品鉴。
一、空间表设计
这里着重介绍空间表的设计与实现,让大家了解空间表的设计。这里直接分享表的物理结构,通过SQL语句直接分享给大家,如果大家感兴趣也可以进行实践。
1、物理表结构
闲言少叙,这里将设计的表字段信息以sql语句的形式提供出来,供大家参考,表中的字段,大家可以根据实际情况进行增减。
物理表结构的sql语句如下(如果您想在本地记性测试,请一定要安装postgis扩展,否则空间数据类型将无法创建):
CREATE TABLE "public"."biz_usa_military_base" (
"id" int8 NOT NULL,
"en_name" varchar(255) COLLATE "pg_catalog"."default" NOT NULL,
"en_desc" varchar(1024) COLLATE "pg_catalog"."default",
"cn_name" varchar(255) COLLATE "pg_catalog"."default",
"remark" varchar(255) COLLATE "pg_catalog"."default",
"geom" "public"."geometry",
"create_by" varchar(64) COLLATE "pg_catalog"."default",
"create_time" timestamp(6),
"update_by" varchar(64) COLLATE "pg_catalog"."default",
"update_time" timestamp(6),
"type" int4,
"en_country" varchar(255) COLLATE "pg_catalog"."default",
"cn_country" varchar(255) COLLATE "pg_catalog"."default",
"en_city" varchar(255) COLLATE "pg_catalog"."default",
"cn_city" varchar(255) COLLATE "pg_catalog"."default",
CONSTRAINT "pk_biz_usa_military_topics" PRIMARY KEY ("id")
);
CREATE INDEX "idx_biz_usa_military_base_geom" ON "public"."biz_usa_military_base" USING gist (
"geom" "public"."gist_geometry_ops_2d"
);
COMMENT ON COLUMN "public"."biz_usa_military_base"."id" IS '主键';
COMMENT ON COLUMN "public"."biz_usa_military_base"."en_name" IS '英文名称';
COMMENT ON COLUMN "public"."biz_usa_military_base"."en_desc" IS '英文描述';
COMMENT ON COLUMN "public"."biz_usa_military_base"."cn_name" IS '英文名称';
COMMENT ON COLUMN "public"."biz_usa_military_base"."remark" IS '备注';
COMMENT ON COLUMN "public"."biz_usa_military_base"."geom" IS '空间信息';
COMMENT ON COLUMN "public"."biz_usa_military_base"."create_by" IS '创建人';
COMMENT ON COLUMN "public"."biz_usa_military_base"."create_time" IS '创建时间';
COMMENT ON COLUMN "public"."biz_usa_military_base"."update_by" IS '更新人';
COMMENT ON COLUMN "public"."biz_usa_military_base"."update_time" IS '更新时间';
COMMENT ON COLUMN "public"."biz_usa_military_base"."type" IS '基地类型,1海外 0 本土';
COMMENT ON COLUMN "public"."biz_usa_military_base"."en_country" IS '部署国家英文名';
COMMENT ON COLUMN "public"."biz_usa_military_base"."cn_country" IS '部署国家中文名';
COMMENT ON COLUMN "public"."biz_usa_military_base"."en_city" IS '部署城市英文名';
COMMENT ON COLUMN "public"."biz_usa_military_base"."cn_city" IS '部署城市中文名';
COMMENT ON TABLE "public"."biz_usa_military_base" IS '美军军事基地信息表';
在设计好上述的空间数据表之后,我们就将表在PostGIS数据库中进行新建,确保没有报错。下面再来进行后台去重识别和信息转换的工作。
二、后台数据管理
后台数据的管理比较简单,这里不涉及复杂的逻辑,首先解析KMZ的数据,这部分的内容不再赘述,仅提供如何进行数据去重的处理。然后如何进行经纬度不同数据格式的转换,因此将数据同步成同一个标准。
1、数据去重
在之前的数据处理过程当中,我们将所有的基地信息都读取出来,然后统一放到一个List集合当中,最后调用MP的批量插入接口实现数据的批量插入。但是这样的数据是很容易重复的。查询数据是否重复的sql语句如下,我们采用的机制就是根据英文名称来进行检索,我们在筛选数据时,着重检查基地的英文名和位置信息是否一致,如果这两个完全一致,那么我们认为就是同一个基地,是需要将数据进行去除的。
select id,en_name,cn_name,st_asgeojson(geom) from biz_usa_military_base order by st_asgeojson(geom);
上面的数据由于我已经处理过了,因此已经将重复的数据都已经全部去掉了。默认情况下,是有蛮多重复的数据。在实际项目中,我们怎么解决这种重复数据呢?一般可以有两种思路。第一种就是循环插入,这样在插入前做一次重复查询,如果数据已经存在了就不再插入。这样做的效率是比较低的,因为没插一次还要去数据库中查询数据是否存在,消耗的时间是比较大。既然这种方式不太好,那么第二种方式就是在批量插入,但是要求是必须要在批量的集合中进行去重,这样从源头上就解决了重复插入的问题。
2、去重的具体实现
为了实现去重,我们这里选用LinkedHashMap来进行处理,选这个数据结构是因为LinkedHashMap可以实现有序性,数据会按照读取的顺序添加到集合当中。同时基于HashMap的特性可以实现重复数据的处理,map的key我们选用字符串来处理,由基地的名称+空间的WKT字符串,这样子虽然长点,但是可以进行重复的校验。在map的结构当中,如果key是重复的话,会以最后的一次put为准,这样就实现我们的去重。代码实现就更加简单了:
Map<String,UsaMilitaryBase> linkedHashMap = new LinkedHashMap<String, UsaMilitaryBase>();
for(int i=0; i<featureCount; i++){
Feature feature = layer.GetFeature(i);
if(null == feature) continue;
String enName = feature.GetFieldAsString("Name");
UsaMilitaryBase base = new UsaMilitaryBase();
Geometry geom = feature.GetGeometryRef();
//step 1、生成原始wkt
String wkt = geom.ExportToWkt();
wkt = "SRID=" + srid +";" + wkt;//拼接srid,实现动态写入
linkedHashMap.put(enName + wkt, base);
}
然后通过这种方式得到的map就是实现了去重之后的数据集合。当然,如果想实现批量插入,就需要循环map,将map的value取出来,然后添加到List中,再调用MP的批量插入的接口。
if(linkedHashMap.size() >0) {
// 使用for-each循环遍历HashMap
for (Map.Entry<String, UsaMilitaryBase> entry : linkedHashMap.entrySet()) {
dataList.add(entry.getValue());
}
usaMilitaryBaseService.saveBatch(dataList, 300);//批量插入,每300条提交一次事务
}
3、度分秒数据格式转换
在空间数据展示中,度分秒也是一种非常常见的格式,因此很多地方也是以度分秒的形式来进行展示的。其中,我们在某度上看到的漂亮国基地信息都是以度分秒的形式展示的,如下所示:
其数据的表达方式都是:
华盛顿州:
序号 基地名称、经纬度
1、 陆军刘易斯堡 47° 4'57.21"N 122°35'2.78"W
2、 惠德贝岛海军航空站 48°20'42.49"N 122°39'51.71"W
3、 埃弗雷特海军基地 47°59'20.32"N 122°13'12.91"W
4、 普吉海峡海军造船厂 47°33'41.32"N 122°37'56.17"W
像这些数据怎么保存到数据库中,怎么进行wkt类型的转换呢?这里分享java的实现方式。
4、具体的转换方法
关于如何将度分秒的数据进行转换,网上有很多例子。我也是参考了别人的代码,但是很多代码其实没有将清楚,比如南纬和西经的数据处理方法,也就是会有负数的情况出现。如果按照正常的计算逻辑,则会出现位置错误。下面分享在网友的基础之上改造的可以带符号的经纬度转换方法。在后台的控制器中增加以下代码:
@RequiresPermissions("mt:usabase:add")
@Log(title = "美军军事基地", businessType = BusinessType.INSERT)
@PostMapping("/add")
@ResponseBody
public AjaxResult addSave(UsaMilitaryBase militaraBase,String latLonStr){
if(StringUtils.isNotEmpty(latLonStr)) {
//String lat1 = "34°49'36.28\"N 95°57'33.18\"W";
String lat = latLonStr.split(" ")[0];
String lon = latLonStr.split(" ")[1];
String latSuffix = lat.substring(lat.length() -1 );//取出纬度后缀N,S
String lonSuffix = lon.substring(lon.length() -1 );//取出纬度后缀W,E
String newLat = String.valueOf(LatLngUtil.dfm2LatLng(lat.substring(0,lat.length() -1 )));
String newLon = String.valueOf(LatLngUtil.dfm2LatLng(lon.substring(0,lon.length() -1 )));
newLat = latSuffix.equalsIgnoreCase("S") ? "-" + newLat : newLat;
newLon = lonSuffix.equalsIgnoreCase("W") ? "-" + newLon : newLon;
//构造wkt,默认参考为4326
String geom = "SRID=" + 4326 + ";POINT (" + newLon + " " + newLat + ")";
militaraBase.setGeom(geom);
}
return toAjax(mbaseService.insertEntity(militaraBase));
}
需要注意的是,在数据中,要解析出数据中的南纬和西经,也就是S和W,如果位置后面是这两个字符,需要将结果转换成负数即可。处理具体转换的代码如下,我整理成了一个工具类:
/**
* 度分秒转经纬度
*
* @param dms 116°25'7.85"
* @return 116.418847
*/
public static double dfm2LatLng(String dms) {
if (dms == null) return 0;
try {
dms = dms.replace(" ", "");
String[] str2 = dms.split("°");
if (str2.length < 2) return 0;
int d = Integer.parseInt(str2[0]);
String[] str3 = str2[1].split("\'");
if (str3.length < 2) return 0;
int f = Integer.parseInt(str3[0]);
String str4 = str3[1].substring(0, str3[1].length() - 1);
double m = Double.parseDouble(str4);
double fen = f + (m / 60);
double du = (fen / 60) + Math.abs(d);
if (d < 0) du = -du;
return Double.parseDouble(String.format("%.7f", du));
} catch (Exception e) {
e.printStackTrace();
}
return 0;
}
5、新增界面的实现
这里简单分享新增界面的实现,界面实现采用Thymeleaf,并不是流行的vue,喜欢vue的可以自己自行改造哈。将度分秒信息一次性传给后台,后台使用上面展示的add方法接收参数,然后调用转换逻辑。
<div class="form-group">
<label class="col-sm-3 control-label">位置(度分秒):</label>
<div class="col-sm-8">
<input name="latLonStr" class="form-control" type="text" required>
</div>
</div>
三、数据管理界面
本节将重点讲解数据管理界面以及功能介绍。
列表管理界面实现数据的查询展示,展示基地的英文名称、中文名称,数据的创建时间,支持按照基地的中英文名称进行查询。
新增基地信息页面,请注意在位置这里,输入度分秒格式的数据,同时输入基地的中英文名称、所在国家的中英文名称,所在城市的中英文名称。输入完毕后,点击确定即可。
信息编辑页面,与新建的窗口界面不同的是,新增界面可以输入位置坐标信息,而修改暂时不提供这个功能(技术上没有问题,只是从业务上禁止修改)。
总结
以上就是本文的主要内容,本文将以java语言为例,详细介绍如何管理漂亮国的基地信息。为下一步全球的空间可视化打下坚实的基础,首先介绍如何对数据进行去重处理,然后介绍在java当中如何进行度分秒位置的转换,最后结合实现原型进行详细的说明。通过本文,您可以掌握如何管理这些矢量数据,同时知道如何进行空间数据的去重,还可以掌握如何进行度分秒数据的转换,欢迎感兴趣的朋友互相交流。行文仓促,难免有不足之处,欢迎朋友们在评论区批评指正,不慎感谢。