Apache Hive（部署+SQL+FineBI构建展示）

news2024/11/27 5:30:46

在这里插入图片描述

Hive架构

在这里插入图片描述

Hive部署

在这里插入图片描述

VMware虚拟机部署

一、在node1节点安装mysql数据库
在这里插入图片描述

二、配置Hadoop
在这里插入图片描述

三、下载解压Hive
在这里插入图片描述

四、提供mysql Driver驱动
在这里插入图片描述

五、配置Hive
在这里插入图片描述

六、初始化元数据库
在这里插入图片描述

七、启动Hive(Hadoop用户)

chown -R hadoop:hadoop apache-hive-3.1.3-bin hive
在这里插入图片描述

阿里云部署
在这里插入图片描述

一、创建云数据库库
在这里插入图片描述

二、配置Hive
在这里插入图片描述
数据库连接地址粘贴到配置文件中

通过yum install -y mysql 安装mysql客户端，用于mysql命令的输入

UCloud云部署
在这里插入图片描述

一、创建UDB数据库
在这里插入图片描述

二、创建一个Hive数据库（需要通过yum install -y mysql提前安装命令）
在这里插入图片描述

三、初始化
在这里插入图片描述

============================================================

Hive操作

通过ps -ef | grep 40991更详细查看
或者通过jps查看
在这里插入图片描述

在这里插入图片描述

通过浏览器可以查看
在这里插入图片描述

Hive客户端

在这里插入图片描述

启动Hive客户端两种方式：
①、bin/hive即Hive的Shell客户端，直接写SQL
②、bin/hive --service hiveserver2 HiveServer2属于Hive内置的一个ThriftServer服务，提供Thrift端口供其他客户端链接：

可以链接ThriftServer的客户端有：

Hive内置的beeline客户端工具（命令行工具）
第三方图形化SQL工具DataGrip 或DBeaver或者Navicat

在这里插入图片描述

HiveServer2 & Beeline(内置客户端)

①、启动beeline
在这里插入图片描述
②、连接hive2

DataGrip & DBeaver（第三方客户端）

①、DataGrip使用
在这里插入图片描述
②、进行连接

③、写SQL语句
在这里插入图片描述

①、DBeaver使用
在这里插入图片描述
②、构建驱动

删除原来的驱动
在这里插入图片描述
添加自己本地下载好的文件

③、写好SQL，回车可以运行

数据库操作

在这里插入图片描述

表分类：

内部表
在这里插入图片描述

create table myhive.stu(id int,name string); # 在myhive数据库中创建stu表

# 指定分隔创建表 避免在下面查看表内容出现id和name不可见字符导致的紧凑
create table if not exists stu2(id int,name string) row format delimited fields terminated by '\t';

insert into myhive.stu values(1,'jordan'),(2,"kobe");

在这里插入图片描述

外部表
在这里插入图片描述

一、将数据上传到外部表所在的目录（先有表，再有数据）
在这里插入图片描述

二、先存在数据，后创建表
在这里插入图片描述

两者对比：
在这里插入图片描述

内外部表转换：

①、先查看表类型
在这里插入图片描述

②、转换
在这里插入图片描述

数据的导入：

①、使用LOAD语法，从外部将数据加载到Hive内
在这里插入图片描述

CREATE TABLE myhive.test_load(
	dt string comment '时间（时分秒）',
	user_id string comment '用户ID',
	word string comment '搜索词',
	url string comment '用户访问地址'
) comment '搜索引擎日志表' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

在这里插入图片描述

# 本地linux系统上传
load data local inpath '/home/hadoop/search_log.txt' into table myhive.test_load;

# 本质上是文件移动
load data inpath '/tmp/search_log.txt' overwrite into table myhive.test_load

【基于HDFS进行load加载数据，元数据文件会消失（本质是被移动到表所在的目录中）】
在这里插入图片描述