Hive 简介

hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。
在这里插入图片描述

Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。hive十分适合对数据仓库进行统计分析。

一，Hive 下载和安装

1）下载hive

1.登录apache官网下载 apache-hive-3.1.3-bin.tar.gz，单击 Download 下的 “Distribution”
在这里插入图片描述

2.下拉找到hive，然后单击hive
在这里插入图片描述
3.然后单击 hive-3.1.3/

4.单击 apache-hive-3.1.3-bin.tar.gz，开始下载
在这里插入图片描述

2）安装hive

1.解压hive到/opt目录下
命令：tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /opt

2.改名文件夹
命令：mv apache-hive-3.1.3-bin hive

二，Hive 部署

1.进入hive配置目录
命令：cd /opt/hive/conf

2.解决Hive与Hadoop之间guava版本差异
命令：rm -f /opt/hive/lib/guava-19.0.jar
命令：cp /opt/hadoop-3.3.4/share/hadoop/common/lib/guava-27.0-jre.jar /opt/hive/lib

1）添加hive-site.xml配置

1.进入conf目录，命令：cd /opt/hive/conf

2.进入hive-site.xml配置界面，命令：vi /opt/hive/conf/hive-site.xml

3.添加以下内容：

<configuration>
    # 配置MySQL的连接地址、连接数据库
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://localhost:3306/hivedb?createDatabaseIFNotExist=true</value>
    </property>
    # 配置MySQL的驱动类
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    # 配置登录MySQL的用户名
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    # 配置登录MySQL的密码
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>p@ssw0rd</value>
    </property>
</configuration>

2）上传mysql jdbc驱动到hive安装包lib下

命令：cp mysql-connector-java-5.1.49.jar /opt/hive/lib

3）初始化元数据库

命令：/opt/hive/bin/schematool -initSchema -dbType mysql -verbos

4）启动hive

1.启动hive metastore服务

#前台启动，关闭ctrl+c
/opt/hive/bin/hive --service metastore

#前台启动开启debug日志
/opt/hive/bin/hive --service metastore --hiveconf hive.root.logger=DEBUG,console  

#后台启动 进程挂起  关闭需要直接杀进程（先jps查看进程号，再kill -9）
nohup /opt/hive/bin/hive --service metastore &

2.启动hiveserver2服务，命令：/opt/hive/bin/hive --service hiveserver2 &

5）beeline客户端连接

1.默认配置会报错，需要修改hadoop的配置文件core-site.xml命令：vi /opt/hadoop-3.3.4/etc/hadoop/core-site.xml

增加属性如下：

<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>