黑马大数据学习笔记5-案例

news2024/10/5 19:18:19

目录

  • 需求分析
    • 背景介绍
    • 目标
    • 需求
    • 数据内容
    • DBeaver连接到Hive
    • 建库建表
    • 加载数据
  • ETL数据清洗
    • 数据问题
    • 需求
    • 实现
    • 查看结果
    • 扩展
  • 指标计算
    • 需求
    • 需求指标统计
  • 可视化展示
    • BI
      • FineBI的介绍及安装
      • FineBI配置数据源及数据准备
    • 可视化展示

P73~77
https://www.bilibili.com/video/BV1WY4y197g7?p=73

需求分析

背景介绍

聊天平台每天都会有大量的用户在线，会出现大量的聊天数据，通过对聊天数据的统计分析，可以更好的对用户构建精准的用户画像，为用户提供更好的服务以及实现=高ROI==的平台运营推广，给公司的发展决策提供精确的数据支撑。
我们将基于一个社交平台App的用户数据，完成相关指标的统计分析并结合BI工具对指标进行可视化展现。

目标

基于Hadoop和Hive实现聊天数据统计分析，构建聊天数据分析报表

需求

  • 统计今日总消息量
  • 统计今日每小时消息量、发送和接收用户数
  • 统计今日各地区发送消息数据量
  • 统计今日发送消息和接收消息的用户数
  • 统计今日发送消息最多的Top10用户
  • 统计今日接收消息最多的Top10用户
  • 统计发送人的手机型号分布情况
  • 统计发送人的设备操作系统分布情况

在这里插入图片描述

数据内容

  • 数据大小：30万条数据
  • 列分隔符：Hive默认分隔符’\001’
  • 数据字典及样例数据

在这里插入图片描述

DBeaver连接到Hive

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

建库建表

--如果数据库已存在就删除
drop database if exists db_msg cascade ;

--创建数据库
create database db_msg ;

--切换数据库
use db_msg ;

--列举数据库
show databases ;

--如果表已存在就删除
drop table if exists db_msg.tb_msg_source ;

--建表
create table db_msg.tb_msg_source(
msg_time string comment "消息发送时间",
sender_name string comment "发送人昵称",
sender_account string comment "发送人账号",
sender_sex string comment "发送人性别",
sender_ip string comment "发送人ip地址",
sender_os string comment "发送人操作系统",
sender_phonetype string comment "发送人手机型号",
sender_network string comment "发送人网络类型",
sender_gps string comment "发送人的GPS定位",
receiver_name string comment "接收人昵称",
receiver_ip string comment "接收人IP",
receiver_account string comment "接收人账号",
receiver_os string comment "接收人操作系统",
receiver_phonetype string comment "接收人手机型号",
receiver_network string comment "接收人网络类型",
receiver_gps string comment "接收人的GPS定位",
receiver_sex string comment "接收人性别",
msg_type string comment "消息类型",
distance string comment "双方距离",
message string comment "消息内容"
);

在这里插入图片描述

加载数据

  • 上传文件到Linux系统
    直接拖拽上传
    在这里插入图片描述

创建文件夹

hadoop fs -mkdir -p /chatdemo/data

放到指定目录

hadoop fs -put chat_data-30W.csv /chatdemo/data/

在这里插入图片描述

  • load数据到表
load data inpath '/chatdemo/data/chat_data-30W.csv' into table tb_msg_source;
  • 验证结果
select msg_time, sender_name, sender_ip, sender_phonetype, receiver_name, receiver_network 
from tb_msg_source limit 10;

在这里插入图片描述

ETL数据清洗

数据问题

问题1：当前数据中，有一些数据的字段为空，不是合法数据

select msg_time, sender_name, sender_gps from db_msg.tb_msg_source where length(sender_gps) = 0 limit 10;

在这里插入图片描述

问题2：需求中，需要统计每天、每个小时的消息量，但是数据中没有天和小时字段，只有整体时间字段，不好处理

select msg_time from db_msg.tb_msg_source limit 10;

在这里插入图片描述

问题3：需求中，需要对经度和维度构建地区的可视化地图，但是数据中GPS经纬度为一个字段，不好处理

select sender_gps from db_msg.tb_msg_source limit 10;

在这里插入图片描述

需求

需求1：对字段为空的不合法数据进行过滤
where过滤
需求2：通过时间字段构建天和小时字段
date hour函数
需求3：从GPS的经纬度中提取经度和维度
split函数
需求4：将ETL以后的结果保存到一张新的Hive表中

create table db_msg.tb_msg_etl(
msg_time string comment "消息发送时间",
sender_name string comment "发送人昵称",
sender_account string comment "发送人账号",
sender_sex string comment "发送人性别",
sender_ip string comment "发送人ip地址",
sender_os string comment "发送人操作系统",
sender_phonetype string comment "发送人手机型号",
sender_network string comment "发送人网络类型",
sender_gps string comment "发送人的GPS定位",
receiver_name string comment "接收人昵称",
receiver_ip string comment "接收人IP",
receiver_account string comment "接收人账号",
receiver_os string comment "接收人操作系统",
receiver_phonetype string comment "接收人手机型号",
receiver_network string comment "接收人网络类型",
receiver_gps string comment "接收人的GPS定位",
receiver_sex string comment "接收人性别",
msg_type string comment "消息类型",
distance string comment "双方距离",
message string comment "消息内容",
msg_day string comment "消息日",
msg_hour string comment "消息小时",
sender_lng double comment "经度",
sender_lat double comment "纬度"
);

在这里插入图片描述

实现

INSERT OVERWRITE TABLE db_msg.tb_msg_etl
SELECT 
    *, 
    DATE(msg_time) as msg_day, 
    HOUR(msg_time) as msg_hour, 
    split(sender_gps, ',')[0] AS sender_lng,
    split(sender_gps, ',')[1] AS sender_lat
FROM tb_msg_source WHERE LENGTH(sender_gps) > 0;

在这里插入图片描述

查看结果

select msg_time, msg_day, msg_hour, sender_gps, sender_lng, sender_lat from db_msg.tb_msg_etl limit 10;

在这里插入图片描述

扩展

其实我们刚刚完成了
从表tb_msg_source 查询数据进行数据过滤和转换，并将结果写入到：tb_msg_etl表中的操作
这种操作，本质上是一种简单的ETL行为。

ETL：

  • E，Extract，抽取
  • T，Transform，转换
  • L，Load，加载

从A抽取数据(E)，进行数据转换过滤(T)，将结果加载到B(L)，就是ETL。
ETL在大数据系统中是非常常见的，后续还会继续接触到它。
目前简单了解一下即可。

指标计算

需求

  • 统计今日总消息量
  • 统计今日每小时消息量、发送和接收用户数
  • 统计今日各地区发送消息数据量
  • 统计今日发送消息和接收消息的用户数
  • 统计今日发送消息最多的Top10用户
  • 统计今日接收消息最多的Top10用户
  • 统计发送人的手机型号分布情况
  • 统计发送人的设备操作系统分布情况

需求指标统计

指标1：统计今日消息总量

--保存结果表
CREATE TABLE IF NOT EXISTS tb_rs_total_msg_cnt 
COMMENT "每日消息总量" AS 
SELECT 
    msg_day, 
    COUNT(*) AS total_msg_cnt 
FROM db_msg.tb_msg_etl 
GROUP BY msg_day;

在这里插入图片描述

指标2：统计每小时消息量、发送和接收用户数

--保存结果表
CREATE TABLE IF NOT EXISTS tb_rs_hour_msg_cnt 
COMMENT "每小时消息量趋势" AS  
SELECT  
    msg_hour, 
    COUNT(*) AS total_msg_cnt, 
    COUNT(DISTINCT sender_account) AS sender_usr_cnt, 
    COUNT(DISTINCT receiver_account) AS receiver_usr_cnt
FROM db_msg.tb_msg_etl GROUP BY msg_hour;

在这里插入图片描述

指标3：统计今日各地区发送消息总量

CREATE TABLE IF NOT EXISTS tb_rs_loc_cnt
COMMENT '今日各地区发送消息总量' AS 
SELECT 
    msg_day,  
    sender_lng, 
    sender_lat, 
    COUNT(*) AS total_msg_cnt 
FROM db_msg.tb_msg_etl
GROUP BY msg_day, sender_lng, sender_lat

在这里插入图片描述

指标4：统计今日发送和接收用户人数

--保存结果表
CREATE TABLE IF NOT EXISTS tb_rs_usr_cnt
COMMENT "今日发送消息人数、接受消息人数" AS
SELECT 
msg_day, 
COUNT(DISTINCT sender_account) AS sender_usr_cnt, 
COUNT(DISTINCT receiver_account) AS receiver_usr_cnt
FROM db_msg.tb_msg_etl
GROUP BY msg_day;

在这里插入图片描述

指标5：统计发送消息条数最多的Top10用户

--保存结果表
CREATE TABLE IF NOT EXISTS db_msg.tb_rs_s_user_top10
COMMENT "发送消息条数最多的Top10用户" AS
SELECT 
    sender_name AS username, 
    COUNT(*) AS sender_msg_cnt 
FROM db_msg.tb_msg_etl 
GROUP BY sender_name 
ORDER BY sender_msg_cnt DESC 
LIMIT 10;

在这里插入图片描述

指标6：统计接收消息条数最多的Top10用户

CREATE TABLE IF NOT EXISTS db_msg.tb_rs_r_user_top10
COMMENT "接收消息条数最多的Top10用户" AS
SELECT 
receiver_name AS username, 
COUNT(*) AS receiver_msg_cnt 
FROM db_msg.tb_msg_etl 
GROUP BY receiver_name 
ORDER BY receiver_msg_cnt DESC 
LIMIT 10;

在这里插入图片描述

指标7：统计发送人的手机型号分布情况

CREATE TABLE IF NOT EXISTS db_msg.tb_rs_sender_phone
COMMENT "发送人的手机型号分布" AS
SELECT 
    sender_phonetype, 
    COUNT(sender_account) AS cnt 
FROM db_msg.tb_msg_etl 
GROUP BY sender_phonetype

在这里插入图片描述

指标8：统计发送人的手机操作系统分布

--保存结果表
CREATE TABLE IF NOT EXISTS db_msg.tb_rs_sender_os
COMMENT "发送人的OS分布" AS
SELECT
    sender_os, 
    COUNT(sender_account) AS cnt 
FROM db_msg.tb_msg_etl 
GROUP BY sender_os

在这里插入图片描述

可视化展示

BI

BI：Business Intelligence，商业智能。
指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。

简单来说，就是借助BI工具，可以完成复杂的数据分析、数据统计等需求，为公司决策带来巨大的价值。

所以，一般提到BI，我们指代的就是工具软件。常见的BI软件很多，比如：
FineBI、SuperSet、PowerBI、TableAu等。

FineBI的介绍及安装

FineBI的介绍：https://www.finebi.com/

FineBI 是帆软软件有限公司推出的一款商业智能（Business Intelligence）产品。FineBI 是定位于自助大数据分析的 BI 工具，能够帮助企业的业务人员和数据分析师，开展以问题导向的探索式分析。

  • FineBI的特点：
    通过多人协作来实现最终的可视化构建
    不需要通过复杂代码来实现开发，通过可视化操作实现开发
    适合于各种数据可视化的应用场景
    支持各种常见的分析图表和各种数据源
    支持处理大数据

FineBI的界面
启动登陆,选内置数据看。
在这里插入图片描述
在这里插入图片描述

目录：首页大屏及帮助文档

仪表盘：用于构建所有可视化报表

数据准备：用于配置各种报表的数据来源

管理系统：用于管理整个FineBI的使用：用户管理、数据源管理、插件管理、权限管理等
在这里插入图片描述

FineBI配置数据源及数据准备

FineBI与Hive集成的官方文档：https://help.fanruan.com/finebi/doc-view-301.html

  • 驱动配置

问题：如果使用FineBI连接Hive，读取Hive的数据表，需要在FineBI中添加Hive的驱动jar包
解决：将Hive的驱动jar包放入FineBI的lib目录下

step1：找到提供的【Hive连接驱动】

step2：将这些文件放入FineBI的安装目录下的：webapps\webroot\WEB-INF\lib目录中
在这里插入图片描述

  • 插件安装

问题：我们自己放的Hive驱动包会与FineBI自带的驱动包产生冲突，导致FineBI无法识别我们自己的驱动包
解决：安装FineBI官方提供的驱动包隔离插件

step1：找到隔离插件

step2：安装插件

step3：重启FineBI
在这里插入图片描述

新建连接
在这里插入图片描述
在这里插入图片描述

测试连接,保存连接
在这里插入图片描述

数据准备
在这里插入图片描述

在这里插入图片描述
选中8个分析的结果表，确定，然后更新数据。
在这里插入图片描述
新建文件夹之后，选中，新建分析主题。
在这里插入图片描述

可视化展示

基于FineBI完成指标的可视化展现

选中数据
在这里插入图片描述
添加组件

在这里插入图片描述

修改黑色字
在这里插入图片描述
重命名
在这里插入图片描述
选择仪表板，拖进去，取消显示标题，调整大小，位置，颜色。
在这里插入图片描述
在这里插入图片描述
类似操作，添加数据，然后完成标题展示。
在这里插入图片描述
添加雷达图
在这里插入图片描述
取消图例
在这里插入图片描述
拖拽到仪表板，调整大小
在这里插入图片描述
添加环饼状图
在这里插入图片描述

添加地图

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

添加柱状图
在这里插入图片描述

添加词汇云图
在这里插入图片描述

添加趋势曲线图
在这里插入图片描述
在这里插入图片描述

报表预览

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/841977.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

如何使用win10专业版系统自带远程桌面公司内网电脑，从而实现居家办公？

如何使用win10专业版系统自带远程桌面公司内网电脑，从而实现居家办公？

使用win10专业版自带远程桌面公司内网电脑 文章目录 使用win10专业版自带远程桌面公司内网电脑 在现代社会中，各类电子硬件已经遍布我们身边，除了应用在个人娱乐场景的消费类电子产品外，各项工作也离不开电脑的帮助，特别是涉及到数…
阅读更多...
router和route的区别

router和route的区别

简单理解为，route是用来获取路由信息的，router是用来操作路由的。 一、router router是VueRouter的实例，通过Vue.use(VueRouter)和VueRouter构造函数得到一个router的实例对象，这个对象中是一个全局的对象，他包含了所…
阅读更多...
vue结合three.js加载3D模型报404错误

vue结合three.js加载3D模型报404错误

使用vue结合three.js加载3D模型时报404的错误，加载字体库也会报404错误，同样的方法。 vue项目虽然使用npm install three安装了three，但是有些静态资源时读取不到的，当出现异常的404错误时，比如加载3D模型资源时&…
阅读更多...
第5章 运算符、表达式和语句

第5章 运算符、表达式和语句

本章介绍以下内容： 关键字：while、typedef 运算符：、-、*、/、%、、--、(类型名) C语言的各种运算符，包括用于普通数学运算的运算符 运算符优先级以及语句、表达式的含义 while循环 复合语句、自动类型转换和强制类型转换 如何编写…
阅读更多...
虚拟机不能使用 console 的问题

虚拟机不能使用 console 的问题

原理：arm 系统默认走ttyAMA0，x86 默认走ttyS0，而tty0 是走的GPU 串行端口终端(/dev/ttySn) 串行端口终端(Serial Port Terminal)是使用计算机串行端口连接的终端设备。 计算机把每个串行端口都看作是一个字符设备。有段时间这些串行端口设备…
阅读更多...
6.6.tensorRT高级(1)-mmdetection框架下yolox模型导出并推理

6.6.tensorRT高级(1)-mmdetection框架下yolox模型导出并推理

目录 前言1. yolox导出2. yolox推理3. 补充知识3.1 知识点3.2 mmdetection 总结 前言 杜老师推出的 tensorRT从零起步高性能部署 课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。 本次课程学习…
阅读更多...
Spring Boot介绍--快速入门--约定优于配置

Spring Boot介绍--快速入门--约定优于配置

文章目录 SpringBoot 基本介绍官方文档Spring Boot 是什么?SpringBoot 快速入门需求/图解说明完成步骤快速入门小结 Spring SpringMVC SpringBoot 的关系总结梳理关系如何理解-约定优于配置 SpringBoot 基本介绍 官方文档 官网: https://spring.io/projects/spring-boot 学习…
阅读更多...
JUC之线程中断与LockSupport

JUC之线程中断与LockSupport

什么是中断 首先一个线程不应该由其他线程来强制中断或停止，而是应该由线程自己自行停止。其次在Java中没有办法立即停止一条线程，然而停止线程却显得尤为重要，如取消一个耗时操作。因此，Java提供了一种用于停止线程的机制——中…
阅读更多...
goanno的简单配置-goland配置

goanno的简单配置-goland配置

手动敲注释太LOW,使用插件一步搞定 goanno 打开goanno的配置 点击之后弹窗如下 配置method /** Title ${function_name} * Description ${todo} * Author zhangguofu ${date} * Param ${params} * Return ${return_types} */相关效果如下 同理配置interface // ${interface…
阅读更多...
el-select控制单选还是多选

el-select控制单选还是多选

<el-form :inline"true" :model"form" class"demo-form-inline"><el-form-item><el-select v-model"form.properties_id" placeholder"请选择样品性质" clearable :multiple"multiple_properties"…
阅读更多...
web前端之CSS

web前端之CSS

文章目录 一、CSS简介1.1 CSS语法规则 二、CSS的引用方法2.1 定义行内样式表2.2定义内部样式表2.3链入外部样式表2.4导入外部样式表 三、CSS选择符3.1 基本选择符3.1.1 标签选择符3.1.2 class类选择符3.1.3 id选择符 3.2 复合选择符3.2.1 交集选择符&#xff08;合并选择器&…
阅读更多...
Navicat连接SQL Server报错：IM002 未发现数据源名称且未指定驱动

Navicat连接SQL Server报错：IM002 未发现数据源名称且未指定驱动

Navicat Premium连接SQL Server软件时&#xff1a;报IM002错误&#xff0c;未发现数据源名称且未指定驱动程&#xff1a; 解决办法&#xff1a;查找Navicat Premium的安装目录D:\Navicat Premium\&#xff0c;你会找到一个文件sqlncli_x64.msi&#xff08;D:\Navicat Premium\s…
阅读更多...
【数字化处理】仿生假体控制中肌电信号的数字化处理研究（Matlab代码实现）

【数字化处理】仿生假体控制中肌电信号的数字化处理研究（Matlab代码实现）

&#x1f4a5;&#x1f4a5;&#x1f49e;&#x1f49e;欢迎来到本博客❤️❤️&#x1f4a5;&#x1f4a5; &#x1f3c6;博主优势&#xff1a;&#x1f31e;&#x1f31e;&#x1f31e;博客内容尽量做到思维缜密&#xff0c;逻辑清晰&#xff0c;为了方便读者。 ⛳️座右铭&a…
阅读更多...
在win10， win11 家庭版中安装远程桌面服务

在win10， win11 家庭版中安装远程桌面服务

win10&#xff0c; win11 家庭版中提供远程桌面服务 简介 在windows家庭版中&#xff0c;是不提供远程桌面服务的&#xff0c;你没有办法使用远程桌面连接到windows家庭版中。 当然&#xff0c; 你可用升级windows 版本到专业版&#xff0c;这样就可用享受到windows自带的远程…
阅读更多...
今年这情况，真想考研了！

今年这情况，真想考研了！

眼下&#xff0c;又是一年的毕业季&#xff0c;超千万规模的毕业生大军如“丧尸围城”&#xff0c;浩浩荡荡地涌入职场。与他们一路同行的还有因疫情影响2022年离校未就业的毕业生&#xff0c;以及那些不幸“被优化”的职场人。 今年&#xff0c;1158 万毕业生&#xff0c;再加…
阅读更多...
浅谈城市大型综合体周边商铺电气防火和消防设备监督管理的几点建议

浅谈城市大型综合体周边商铺电气防火和消防设备监督管理的几点建议

安科瑞 华楠 【摘要】随着经济的发展及城市化步伐的加快&#xff0c;城市建筑密度及建筑容积都达到了空前规模&#xff0c;大型综合体及周边商铺的发展&#xff0c;给人们的日常生活消费提供了便利条件&#xff0c;但同时给人们带来的火灾危险却不能忽视。本文从装修设计情况、…
阅读更多...
基于fpga的电子时钟

基于fpga的电子时钟

文章目录 前言实验手册一、实验目的二、实验原理1&#xff0e;理论原理2&#xff0e;硬件原理 三、系统架构设计四、模块说明1&#xff0e;模块端口信号列表按键消抖模块&#xff08;key&#xff09;计数器模块&#xff08;counter&#xff09;蜂鸣器乐谱模块(music)蜂鸣器发声…
阅读更多...
Shadow插件化框架使用

Shadow插件化框架使用

作者&#xff1a;CCtomorrow 说明 最近项目想要做模块动态升级&#xff0c;所以了解了最近还在维护的插件化框架 Shadow . shadow框架的官网的顶置 issue &#xff0c;里面有非常多的关于框架的解析的文章。想要了解此框架&#xff0c;这个必看。 这里还是截取一张项目代码图…
阅读更多...
Drools用户手册翻译——第四章 Drools规则引擎（十二）复杂事件处理（CEP）的时间操作

Drools用户手册翻译——第四章 Drools规则引擎（十二）复杂事件处理（CEP）的时间操作

甩锅声明&#xff1a;本人英语一般&#xff0c;翻译只是为了做个笔记&#xff0c;所以有翻译错误的地方&#xff0c;错就错了&#xff0c;如果你想给我纠正&#xff0c;就给我留言&#xff0c;我会改过来&#xff0c;如果懒得理我&#xff0c;就直接划过即可。 对于事件的时间…
阅读更多...
Python数据分析实战-dataframe指定多列去重（附源码和实现效果）

Python数据分析实战-dataframe指定多列去重（附源码和实现效果）

实现功能 Python数据分析实战-利用df.drop_duplicates(subset[,])对dataframe指定多列去重 实现代码 import pandas as pddata{state:[1,1,2,2,1,2,2],pop:[a,b,c,d,b,c,d]} framepd.DataFrame(data)frameframe.drop_duplicates(subset[pop,state]) print(frame) 实现效果 本…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023