Hive+Spark离线数仓工业项目实战--项目介绍及环境构建（1）

news2024/11/21 0:15:36

项目简介

通过大数据技术架构，解决工业物联网制造行业的数据存储和分析、可视化、个性化推荐问题。一站制造项目主要基于Hive数仓分层来存储各个业务指标数据，基于sparkSQL做数据分析。核心业务涉及运营商、呼叫中心、工单、油站、仓储物料。

推荐教程：大数据Hive+Spark离线数仓工业项目实战

项目介绍及环境构建

1. 项目目标
- 项目1：在线教育
- 学习如何做项目，项目中大数据工程师要负责实现的内容和流程
- 学习数仓基础理论：建模、分层
- 项目2：一站制造
- 企业中项目开发的落地：代码开发
- 代码开发：SQL【DSL + SQL】
- SparkCore
- SparkSQL
- 数仓的一些实际应用：分层体系、建模实现
2. 内容目标
- 项目业务介绍：背景、需求
- 项目技术架构：选型、架构
- 项目环境测试

- **目标**：了解项目应用背景

- **实施**

- **工业**

- 产业分类
- 第一产业：植业、林业、畜牧业、水产养殖业等直接以自然物为生产对象的产业
- 第二产业：工业、建筑业
- 第三产业：交通运输业、通讯产业、商业、餐饮业、金融业、教育产业
- 定义：属于第二产业，指的是采集原料，并把它们加工成产品的工作和过程
- 划分
- 开采业：对自然资源的开采，对采矿、晒盐、森林采伐等
- 加工业：粮油加工、食品加工、轧花、缫丝、纺织、制革等
- 制造业：炼铁、炼钢、化工生产、石油加工、机器制造、木材加工等，以及电力、自来水、煤气的生产和供应等
- 机修业：对工业品的修理、翻新，如机器设备的修理、交通运输工具的修理等

物理网：IOT**（Internet Of Things）

- 定义：指的是互联网、传统电信网等信息承载体，让所有能行使独立功能的普通物体实现互联互通的网络
- 特点
- 物物相连
- 远程监控和设备控制
- 设备自动化，提升用户体验
- 设备故障分析处理
- 场景
- 智能设备：手机、平板、手表、眼镜、汽车
- 智能家居：门、空调、洗衣机、水壶、窗帘、灯具、马桶、牙刷
- 智能机器人：语音助手、家庭管家、工业机器手臂、快递机器人
- ……

- **工业物联网：IIOT**（Industrial Internet of Things）

- 定义：指数以亿计的工业设备，在这些设备上装置传感器，连接到网络以收集和共享数据

- 发展

- IDC预测，**到2024年全球物联网的联接量将接近650亿，是手机联接量的11.4倍**

小结

- 了解项目应用背景

- **目标**：**掌握项目业务需求**

- 这个项目属于哪个行业？
- 为什么要做这个项目？
- 这个项目的目的是什么？

- **实施**

- **项目行业**：工业大数据

- **项目名称**：加油站服务商数据运营管理平台

- 中石化，中石油，中海油、壳牌，道达尔……

- **整体需求**
基于加油站的设备安装、维修、巡检、改造等数据进行统计分析
支撑加油站站点的设备维护需求以及售后服务的呼叫中心数据分析
提高服务商服务加油站的服务质量
保障零部件的仓储物流及供应链的需求
实现服务商的所有成本运营核算
```

- **具体需求**

- 运营分析：呼叫中心服务单数、设备工单数、参与服务工程师个数、零部件消耗与供应指标等
- 设备分析：设备油量监控、设备运行状态监控、安装个数、巡检次数、维修次数、改造次数
- 呼叫中心：呼叫次数、工单总数、派单总数、完工总数、核单次数
- 员工分析：人员个数、接单次数、评价次数、出差次数
- 报销统计分析、仓库物料管理分析、用户分析

- **报表**

- **小结**

- 这个项目属于哪个行业？
- 工业化大数据平台
- 行业：加油站服务商运营数据分析平台
- 为什么要做这个项目？
- 基于所有设备的安装、维修、巡检、改造的工单数据，辅助公司的运营，提高服务质量，做合理的成本预算
- 这个项目具体需求是什么？
- 提高服务质量，做合理的成本预算
- 需求一：对所有工单进行统计分析
- 安装工单、维修工单、巡检工单、改造工单、回访分析
- 需求二：付费分析、报销分析
- 安装人工费用、安装维修材料费用、差旅交通费用

业务流程

- **目标**：**掌握加油站设备维护的主要业务流程**

- **实施**

- step1：加油站服务商联系呼叫中心，**申请服务**：安装/巡检/维修/改造加油机
- step2：呼叫中心联系对应服务站点，**分派工单**：联系站点主管，站点主管分配服务人员
- step3：服务人员**确认工单**和加油站点信息
- step4：服务人员在指定日期到达加油站，进行**设备检修**
- step5：如果为安装或者巡检服务，安装或者巡检成功，则服务完成
- step6：如果为维修或者改造服务，需要向服务站点**申请物料**，物料到达，实施结束，则**服务完成**
- step7：服务完成，与加油站站点服务商确认服务结束，完成**订单核验**
- step8：工程师**报销**过程中产生的费用
- step9：呼叫中心会定期对该工单中的工程师的服务做**回访**

- **小结**

- 掌握加油站设备维护的主要业务流程
- **工单分析、费用分析、物料分析、回访分析**

技术选型

- **目标**：**掌握加油站服务商数据运营平台的技术选型**

- **实施**

- **数据生成**：业务数据库系统

- Oracle：工单数据、物料数据、服务商数据、报销数据等

- **数据采集**

- Sqoop：离线数据库采集

- **数据存储**

- Hive【HDFS】：离线数据仓库【表】

- **数据计算**

- **SparkCore**：类MR开发方式【写代码调用方法函数来处理：面向对象 + 面向函数】
- 对非结构化数据进行代码处理
- 场景：ETL
- **SparkSQL**：类HiveSQL开发方式【面向表】
- 对数据仓库中的结构化数据做处理分析
- 场景：统计分析
- 开发方式
- DSL：使用函数【DSL函数 + RDD函数】
- SQL：使用SQL语句对表的进行处理
- 功能：离线计算 + 实时计算
- 注意：SparkSQL可以解决所有场景的分布式计算，离线计算的选型不仅仅是SparkSQL
- SparkSQL/Impala/Presto
- 使用方式
- Python/Jar：spark-submit
- ETL
- **==ThriftServer：SparkSQL用于接收SQL请求的服务端，类似于Hive的Hiveserver2==**
- **PyHive :Python连接SparkSQL的服务端，提交SQL语句**
- JDBC：Java连接SparkSQL的服务端，提交SQL语句
- spark-sql -f ：运行SQL文件，类似于hive -f
- beeline：交互式命令行，一般用于测试