阶段三：项目开发---搭建项目前后端系统基础架构:任务9：导入空管基础数据

任务描述

本阶段任务是导入项目的基础数据，包括空管基础数据和离线的实时飞行数据（已经脱敏）。

任务指导

本阶段任务需要导入两种数据：

1、在MySQL中导入空管基础数据

kongguan.sql空管基础数据表说明：

1	告警信息表
2	告警历史信息
3	告警飞行历史信息
4	用户和角色表
5	用户表
6	角色表
7	权限表
8	角色和权限表
9	实时飞行变量表
10	机场表
11	航空公司表
12	航空雷达表
13	航空公司变量表
14	扇形饱和度变量表
15	值班变量表
16	航空变量表
17	机场变量表
18	机场经纬度表
19	航线变量表

数据字典：

表1：告警信息表（warntp_number）

Name	Code	Data Type	Length
主键id	id	int	11
告警类型	gj_type	varchar	100
告警唯一标识	gj_id	varchar	50
告警的类型	gj_msg_type	varchar	100
航迹号1	gj_track_num1	varchar	100
航迹号2	gj_track_num2	varchar	100
告警航班之间的距离	gj_distinct	varchar	100
告警之间的夹角	gj_radian	varchar	100
告警的名称	gj_name	varchar	100
告警距离参数	gj_distinct_bz	varchar	100
告警的城市	gj_city	varchar	1000
告警的发生时间	gj_date	varchar	100
航班号	gj_acids	varchar	100
飞机1经度	gj_num1_long	varchar	100
飞机1纬度	gj_num1_lat	varchar	100
飞机2经度	gj_num2_long	varchar	100
飞机2纬度	gj_num2_lat	varchar	100
数量	count	int	11

表2：告警历史信息表（warnsimilarhistory_number）

Name	Code	Data Type	Length
主键id	id	int	11
告警类型	gj_type	varchar	100
告警唯一标识	gj_id	varchar	50
告警的类型	gj_msg_type	varchar	100
告警数量	gj_num	varchar	100
航迹号	gj_track_num	varchar	100
告警扇区号	gj_sector	varchar	100
航班号	gj_acid	varchar	100
状态	gj_status	varchar	100
城市间	gj_city	varchar	100
时间	gj_date	varchar	100
数量	count	int	11

表3：告警飞行历史信息（warnflighthistory_number）

Name	Code	Data Type	Length
主键id	id	int	11
告警类型	gj_type	varchar	100
告警唯一标识	gj_id	varchar	50
告警类型	gj_msg_type	varchar	100
航迹号1	gj_track_num1	varchar	100
航迹号2	gj_track_num2	varchar	100
告警航班之间的距离	gj_distinct	varchar	100
告警航班之间的夹角	gj_radian	varchar	100
告警名称	gj_name	varchar	100
告警距离参数	gj_distinct_bz	varchar	100
告警的城市	gj_city	varchar	100
告警发生时间	gj_date	varchar	100
数量	count	int	11
告警扇区号	gj_sector	varchar	100

表4：用户和角色表（user_role）

Name	Code	Data Type	Length
主键id	id	int	10
用户id	user_id	int	11
角色id	role_id	int	11

表5：用户表（sys_user）

Name	Code	Data Type	Length
主键id	id	int	11
姓名	name	varchar	50
账号	account	varchar	50
密码	password	varchar	100
类型	type	int	11
用户类型id	user_type_id	int	11
是否删除	is_del	int	11
创建时间	create_time	datetime	0
创建角色	create_user	int	11
修改时间	update_time	datetime	0
修改用户	update_user	int	11
是否启用	is_enable	int	11
联系方式	contact	varchar	11

表6：角色表（sys_role）

Name	Code	Data Type	Length
主键id	id	int	11
角色名	role_name	varchar	100
是否删除	is_del	int	11
创建用户	create_user	int	11
创建时间	create_time	datetime	0
修改的用户	update_user	int	11
修改时间	update_time	datetime	0
是否启用	is_enable	int	11
角色编码	role_code	varchar	50

表7：权限表（sys_auth）

Name	Code	Data Type	Length
主键id	id	int	11
权限名称	auth_name	varchar	100
权限编码	auth_code	varchar	100
删除状态（0，正常；1，删除）	is_del	int	11
创建人	create_user	int	11
创建时间	create_time	datetime	0
更新人	update_user	int	11
更新时间	update_time	datetime	0
权限类型（0：按钮；1，菜单）	type	int	11
菜单Url	menu_url	varchar	255
父级id	parent_id	int	11
菜单图标地址	menu_icon	varchar	255
菜单顺序	menu_order	int	11

表8：角色和权限表（role_auth）

Name	Code	Data Type	Length
主键id	id	int	10
角色id	role_id	int	11
权限id	auth_id	int	11

表9：实时飞行变量表（multiradar_number）

Name	Code	Data Type	Length
主键id	id	int	11
轨迹编号	TRACK_NUMBER	varchar	50
哪个地区的综合航迹	AREA_SOURCE	varchar	100
发送时间utc	SEND_RADAR_TIME	varchar	100
雷达种类	RADAR_TYPE	varchar	100
航班号	ACID	varchar	50
二次代码	SSR_CODE	varchar	100
直角坐标x	ZHIJIAO_X	varchar	100
直角坐标Y	ZHIJIAO_Y	varchar	100
小数形式的经度	RADAR_LONGTITUDE	varchar	100
小数形式的纬度	RADAR_LATITUDE	varchar	100
高度	RADAR_HEIGHT	varchar	100
x分量速度	SPEED_X	varchar	100
y分量速度	SPEED_Y	varchar	100
速度	RADAR_SPEED	varchar	100
航向	DIRECTION	varchar	100
指令高度	RADAR_CFL	varchar	100
飞行员报告高度	FCU	varchar	100
时间戳	TIME	varchar	100
飞行状态	FLYSTATUS	varchar	100
爬升/下降速度	CLIMBORDOWN_SPEED	varchar	100
扇区	section	varchar	100

表10：机场表（kg_airport）

Name	Code	Data Type	Length
机场标识id	ID	int	11
机场四字码	AIRPORT_CODE4	varchar	4
机场三字码	AIRPORT_CODE3	varchar	10
机场中文全称	AIRPORT_CNAME	varchar	50
机场英文全称	AIRPORT_ENAME	varchar	50
机场坐标经度	AIRPORT_LONGTITUDE	varchar	50
机场坐标纬度	AIRPORT_LATITUDE	varchar	50
中文简称	AIRPORT_SNAME	varchar	20
排序描述	AIRPORT_DESCRIPTION	varchar	255
机场标高	AIRPORT_HEIGHT	varchar	20
机场跑道磁项	AIRPORT_RUNWAYCOURSE	varchar	20
机场跑道长度	AIRPORT_RUNWAYLENGTH	varchar	20
机场跑道宽度	AIRPORT_RUNWAYWIDTH	varchar	20

表11：航空公司表（kg_airlinecompany）

Name	Code	Data Type	Length
主键id	ID	int	11
二字码	AIRCOMPANY_CODE2	varchar	4
三字码	AIRCOMPANY_CODE3	varchar	3
中文全称	AIRCOMPANY_CNAME	varchar	50
中文简称	AIRCOMPANY_SNAME	varchar	50
排序描述	AIRCOMPANY_DESCRIPTION	varchar	50
英文名称	AIRCOMPANY_ENAME	varchar	100

表12：航空雷达表（kg_aftn）

Name	Code	Data Type	Length
主键id	id	int	11
发送时间utc	send_time	varchar	255
地区资源	area_source	varchar	255
计划资源	plan_source	varchar	255
飞机id	acid	varchar	255
起飞	adep	varchar	255
降落	ades	varchar	255
计划起飞的时间	stod	varchar	255
计划落地的时间	stoa	varchar	255
状态	aftn_status	varchar	255
执行时间	execute_date	varchar	255
编码	ssr_code	varchar	255
飞行类型	fly_type	varchar	255
飞机类型	aircraft_type	varchar	255
尾速	tail_flow	varchar	255
计划高度	plan_height	varchar	255
计划速度	plan_speed	varchar	255

表13：航空公司变量表（company_number）

Name	Code	Data Type	Length
主键id	id	int	11
飞机id	acid	varchar	100
公司三字码	company_code3	varchar	100
公司名	company_name	varchar	100
延误数	delay_count	int	11

表14：扇形饱和度变量表（callsaturation_number）

Name	Code	Data Type	Length
主键id	id	int	11
消息发送时间	SEND_TIME	varchar	100
数据区域	AREA_SOURCE	varchar	100
计算时间	THBH_TIME	varchar	100
计算的扇区	THBH_SECT	varchar	100
计算后饱和度	THBH_VALUE	varchar	100

表15：值班变量表（atcduty_number）

Name	Code	Data Type	Length
主键id	id	int	11
发送时间	send_time	varchar	100
数据区域	area_source	varchar	100
值班岗位	atc_duty_position	varchar	100
值班人员	atc_duty_person	varchar	100
值班人员管制扇区	atc_duty_sector	varchar	100
数量	count	int	11

表16：航空变量表（atc_number）

Name	Code	Data Type	Length
主键id	id	int	11
航班号	ACID	varchar	100
航班时间	ATC_TIME	varchar	100
执行日期	EXECUTE_DATE	varchar	100
计划扇区名称	PLAN_SECTOR_NAME	varchar	100

表17：机场变量表（airport_number）

Name	Code	Data Type	Length
主键id	id	int	11
飞行编码	flightcode	varchar	20
机场名称	cname	varchar	100
经常英文名	ename	varchar	100
数量	count	int	11

表18：机场经纬度表（airport_longlat）

Name	Code	Data Type	Length
三字码	code3	varchar	255
城市	city	varchar	255
纬度	latitude	varchar	255
经度	longitude	varchar	255
四字码	code4	varchar	255

表19：航线变量表（airline_number）

Name	Code	Data Type	Length
主键id	id	int	11
飞机id	acid	varchar	50
起飞机场编码	adepcode	varchar	50
目标机场编码	adescode	varchar	50
	acids	varchar	500
机场名称	adepname	varchar	100
机场名称	adesname	varchar	100
机场经度	adeplong	varchar	100
机场纬度	adeplat	varchar	100
机场经度	adeslong	varchar	100
机场纬度	adeslat	varchar	100
数量	count	int	11

2、将离线的实时飞行数据（data.tar.gz）导入到HBase中

HBase数据表说明：

1	管制值班人员表
2	ATFN报文数据
3	综合航迹表
4	计划数据
5	相似航班号数据表

HBase数据字典：

kg_ATCDutyInfo	管制值班人员表
Name	Code	Comment	Data Type	Length
消息发送时间	SEND_TIME		string
数据区域	AREA_SOURCE		string
值班岗位名称	ATC_DUTY_POSITION		string
值班人员	ATC_DUTY_PERSON		string
值班人员管制扇区	ATC_DUTY_SECTOR		string

Kg_AFTN	ATFN报文数据
Name	Code	Comment	Data Type	Length
发送者时间，UTC 时间	SEND_TIME		string
数据区域	AREA_SOURCE		string
消息类型	PLAN_SOURCE		string
航班号	ACID		string
起飞机场	ADEP		string
目的机场	ADES		string
计划起飞时间	STOD		string
计划落地时间	STOA		string
当前状态	AFTN_STATUS		string
执行日期	EXECUTE_DATE		string
二次代码	SSR_CODE		string
飞行规则	FLY_RULE		string
飞行类型	FLY_TYPE		string
机型	AIRCRAFT_TYPE		string
尾流	TAILFLOW		string
注册号	REGID		string
巡航高度(来源 FPL 报)	PLAN_HEIGHT		string
巡航速度(来源 FPL 报)	PLAN_SPEED		string
任务	TASK		string
机载设备	AFTN_EQUIPMENT		string
性能	CAPABILITY		string
FPL 报预计起飞时间	ETOT		string
FPL 报预计落地时间	ELDT		string
实际起飞时间	ATOT		string
实际落地时间	ALDT		string
备降机场	EVENING_PORT		string
入界点	IBP		string
入界点时间	IBP_TIME		string
出界点	OBP		string
出界点时间	OBP_TIME		string
飞行总时间	FLY_TIME		string

Kg_MultiRadarData	综合航迹表
Name	Code	Comment	Data Type	Length
哪个地区的综合航迹	AREA_SOURCE		String
发送时间(UTC 时间)	SENDRADARTIME		String
雷达种类（综合航迹：MULTI，	RADAR_TYPE		String
航班号	ACID		String
航迹号	TRACK_NUMBER		Int
二次代码	SSR_CODE		String
直角坐标 X 分量（单位：km）	ZHIJIAO_X		double
直角坐标 Y 分量（单位：km）	ZHIJIAO_Y		double
小数形式的经度（单位：度）	RADAR_LONGTITUDE		double
小数形式的纬度（单位：度	RADAR_LATITUDE		double
高度	RADAR_HEIGHT		double
X 分量速度	SPEED_X		double
Y 分量速度	SPEED_Y		double
速度	RADAR_SPEED		double
航向	DIRECTION		double
指令高度	RADAR_CFL		double
飞行员报告高度	FCU		double
时间戳	TIME		double
飞行状态	FLYSTATUS		String
爬升/下降速度	CLIMBORDOWN_SPEED		double

Kg_PlanData	计划数据
Name	Code	Comment	Data Type	Length
消息发送时间，UTC 时间	SEND_TIME		string
数据区域	AREA_SOURCE		string
数据类型，来源于哪个系统	PLAN_SOURCE		string
航班号	ACID		string
起飞机场	ADEP		string
落地机场	ADES		string
计划起飞时间(次日计划时间)	STOD		string
计划落地时间(次日计划时间)	STOA		string
FPL 起飞时间	ETOT		string
FPL 落地时间	ELDT		string
机型	AIRCRAFT_TYPE		string
注册号	REGID		string
任务	TASK		string
航班执行日期	EXECUTE_DATE		string

Kg_WarnSimilarHistory	相似航班号数据表
Name	Code	Comment	Data Type	Length
告警类型	GJ_TYPE		String
告警的唯一标示编号	GJ_ID		String
告警的类型	GJ_MSG_TYPE		String
航迹号 1	GJ_TRACK_NUM1		String
航迹号 2	GJ_TRACK_NUM2		String
告警的扇区号	GJ_SECTOR		String
告警航班之间的距离	GJ_DISTINCT		Double
告警航班之间的夹角	GJ_RADIAN		Double
告警的名称	GJ_NAME		String
告警的距离参数	GJ_DISTINCT_BZ		String
告警的城市	GJ_CITY		String
告警发生的时间	GJ_DATE		String

其它表字段与mysql表字段相同

任务实现

【注意：当前任务的操作在node3节点上完成】

1、首先将data.tar.gz解压到自定义目录中

注意：由于数据文件的压缩包比较大，解压过程可能会持续3~5分钟，请耐心等待。

[root@node3 ~]# cd /opt/software/
[root@node3 software]# tar -xzf data.tar.gz -C /opt/

2、利用SQLyog或者其他数据库工具将保存在/opt/data目录中名为kongguan.sql的文件导入到MySQL数据库

使用【mysql -uroot -p】登录到MySQL（输入密码登录123456）
使用 show databases 命令，查看数据库列表

创建数据库：

mysql> create database kongguan;
mysql> use kongguan;

进入kongguan数据库，使用 source 命令执行kongguan.sql脚本导入数据（假设sql文件的位置：/opt/data/kongguan.sql）

mysql> use kongguan;
mysql> source /opt/data/kongguan.sql;

导入数据后，可使用 MySQL的show tables; 语句查看导入情况：

3、将HBase备份文件（空管数据及实时飞行数据）导入到集群的HBase数据库

切换到node3节点，在控制台输入以下命令，在HDFS上创建如下目录

[root@node3 ~]# hadoop fs -mkdir /hbase/table/ 
[root@node3 ~]# hadoop fs -mkdir /hbase/table/Kg_CallSaturation 
[root@node3 ~]# hadoop fs -mkdir /hbase/table/Kg_ATC 
[root@node3 ~]# hadoop fs -mkdir /hbase/table/Kg_PlanData 
[root@node3 ~]# hadoop fs -mkdir /hbase/table/Kg_ATCDutyInfo 
[root@node3 ~]# hadoop fs -mkdir /hbase/table/Kg_FlightState 
[root@node3 ~]# hadoop fs -mkdir /hbase/table/Kg_WarnFlightHistory 
[root@node3 ~]# hadoop fs -mkdir /hbase/table/Kg_AFTN 
[root@node3 ~]# hadoop fs -mkdir /hbase/table/Kg_WarnSimilarHistory
[root@node3 ~]# hadoop fs -mkdir /hbase/table/Kg_MultiRadarData

查看HDFS上目录的创建情况：

把数据上传至hdfs

注意：由于数据量较大，上传数据的过程可能会持续3-5分钟的时间，请耐心等待。

[root@node3 ~]# hadoop fs -put /opt/data/Kg_CallSaturation /hbase/table/Kg_CallSaturation 
[root@node3 ~]# hadoop fs -put /opt/data/Kg_ATC /hbase/table/Kg_ATC 
[root@node3 ~]# hadoop fs -put /opt/data/Kg_PlanData /hbase/table/Kg_PlanData 
[root@node3 ~]# hadoop fs -put /opt/data/Kg_ATCDutyInfo /hbase/table/Kg_ATCDutyInfo 
[root@node3 ~]# hadoop fs -put /opt/data/Kg_FlightState /hbase/table/Kg_FlightState 
[root@node3 ~]# hadoop fs -put /opt/data/Kg_WarnFlightHistory /hbase/table/Kg_WarnFlightHistory 
[root@node3 ~]# hadoop fs -put /opt/data/Kg_AFTN /hbase/table/Kg_AFTN 
[root@node3 ~]# hadoop fs -put /opt/data/Kg_WarnSimilarHistory /hbase/table/Kg_WarnSimilarHistory
[root@node3 ~]# hadoop fs -put /opt/data/Kg_MultiRadarData /hbase/table/Kg_MultiRadarData

进入HBase客户端运行【hbase shell】进入

[root@node3 software]# hbase shell

创建HBase表

create 'Kg_CallSaturation','SaturationHome' 
create 'Kg_ATC','ATCHome' 
create 'Kg_PlanData','ReportHome' 
create 'Kg_ATCDutyInfo','ATCDutyHome' 
create 'Kg_FlightState','StateHome' 
create 'Kg_WarnFlightHistory','WarnFlightHome' 
create 'Kg_AFTN','AFTNHome' 
create 'Kg_WarnSimilarHistory','WarnSimilarHome'
create 'Kg_MultiRadarData','RadarHome'

查看创建情况

退出HBase客户端

然后执行导入操作

注意：由于此过程要执行多个MapReduce操作，可能需要5-10分钟左右的时间，请耐心等待。

[root@node3 software]# hbase org.apache.hadoop.hbase.mapreduce.Import Kg_CallSaturation /hbase/table/Kg_CallSaturation/Kg_CallSaturation
[root@node3 software]# hbase org.apache.hadoop.hbase.mapreduce.Import Kg_ATC /hbase/table/Kg_ATC/Kg_ATC
[root@node3 software]# hbase org.apache.hadoop.hbase.mapreduce.Import Kg_PlanData /hbase/table/Kg_PlanData/Kg_PlanData 
[root@node3 software]# hbase org.apache.hadoop.hbase.mapreduce.Import Kg_ATCDutyInfo /hbase/table/Kg_ATCDutyInfo/Kg_ATCDutyInfo
[root@node3 software]# hbase org.apache.hadoop.hbase.mapreduce.Import Kg_FlightState /hbase/table/Kg_FlightState/Kg_FlightState
[root@node3 software]# hbase org.apache.hadoop.hbase.mapreduce.Import Kg_WarnFlightHistory /hbase/table/Kg_WarnFlightHistory/Kg_WarnFlightHistory
[root@node3 software]# hbase org.apache.hadoop.hbase.mapreduce.Import Kg_AFTN /hbase/table/Kg_AFTN/Kg_AFTN 
[root@node3 software]# hbase org.apache.hadoop.hbase.mapreduce.Import Kg_WarnSimilarHistory /hbase/table/Kg_WarnSimilarHistory/Kg_WarnSimilarHistory
[root@node3 software]# hbase org.apache.hadoop.hbase.mapreduce.Import Kg_MultiRadarData /hbase/table/Kg_MultiRadarData/Kg_MultiRadarData

例如：

查看数据导入情况

4、实时飞行数据说明

解压data.tar.gz后的文件导入到集群的HBase数据库，所以直接读取HBase即可，但是由于真实的数据里实时飞行数据的时间间隔过短，在地图上不能感觉到飞机的实时运动状态，所以在项目中使用的实时飞行数据是从HBase中取出的真实飞行数据经过一定的处理后将时间间隔变大的数据，这样做可以在地图上明显感觉到飞机的运动状态。
当前项目提供了已经处理好的实时飞行数据，即：part-00000 ~ part-00011。使用时需要根据当前位置修改后台读取的位置即可，如下图：

part-000xx文件的内容格式如下：

这些文件可以放到本地，也可以放到HDFS上，例如：如果要在【client节点机器上】上读取“实时飞行数据”，可以使用【scp】命令将该数据从node3节点复制到client节点上。

 [root@node3 ~]# scp -rq /opt/data client:/opt/

在后面阶段任务，读取时要根据自己的实际存放位置修改代码中的读取路径：