文章目录
- 1. 安装Hive(最小化部署)
- 2. MySQL安装
- 3. Hive元数据配置到MySQL
- 4. HiveServer2服务
- 5. Metastore服务运行模式
- 6. 编写脚本来管理hive的metastore/hiveserver2服务的启动和停止
- 1.7 Hive常用命令
- 7. Hive参数配置方式
- 7.1 Hive常见的几个属性配置
- 安装Hive的前提是先安装Hadoop集群,并且hive只需要在Hadoop的namenode节点中安装即可,可以不再datanode节点上安装
1. 安装Hive(最小化部署)
-
在s1服务器解压缩hive的安装包至/opt/module 目录下,并改名为hive-3.1.2
[gaochuchu@s1 softs]$ tar -zxvf /opt/softs/apache-hive-3.1.2-bin.tar.gz -C /opt/module/ [gaochuchu@s1 module]$ mv apache-hive-3.1.2-bin/ hive-3.1.2
-
配置环境变量,在/etc/profile.d/my_env.sh中添加环境变量
[gaochuchu@s1 module]$ sudo vim /etc/profile.d/my_env.sh #HIVE_HOME export HIVE_HOME=/opt/module/hive-3.1.2 export PATH=$PATH:$HIVE_HOME/bin source /etc/profile
-
初始化元数据库,此时默认为derby数据库
[gaochuchu@s1 hive-3.1.2] bin/schematool -dbType derby -initSchema
-
启动Hive和简单使用Hive
[gaochuchu@s1 hive-3.1.2]$ bin/hive hive> show databases; hive> show tables; hive> create table test(id int); hive> insert into test values(1); hive> select * from test;
-
注意hive是存储在hdfs之上,因此默认hive的所有表都存在hdfs中的hive的默认目录/user/hive/warehouse
-
并且所有的hiveQL语句会转换成mapreduce任务,例如上述插入一条数据的例子,会转为mapreduce任务
-
-
退出hive客户端
hive>quit;
-
使用默认derby数据库的弊端
-
原因在于 Hive 默认使用的元数据库为 derby,开启 Hive 之后就会占用元数据库,且不与其他客户端共享数据,所以一次只能开启一个hive客户端,开启两个的时候,我们动态监测/tmp/gaochuhcu/hive.log数据库就会发现报错
-
所以我们需要将 Hive 的元数据地址改为 MySQL。
-
2. MySQL安装
-
因为Hive中主要还是用MySQL作为元数据库,首先卸载数据库中已有的mariadb
[gaochuchu@s1 ~]$ sudo rpm -e --nodeps mariadb-libs [gaochuchu@s1 ~]$ sudo rpm -e --nodeps mariadb-devel
-
如果服务器已经安装了8.0版本的mysql,可以安装如下示例安装mysql5.7实例,原先8.0版本的mysql实例仍然保留
-
解压缩mysql5.7到/opt/module目录下
-
并在该mysql目录下创建数据目录/opt/module/mysql57/data
-
在/opt/module/mysql57/目录下添加配置文件my.cnf
[gaochuchu@s1 mysql57]$ vim my.cnf port=3308 datadir=/opt/module/mysql57/data socket=/opt/module/mysql57/data/mysql.sock log-error=/opt/module/mysql57/data/mysqld.log pid-file=/opt/module/mysql57/data/mysqld.pid
-
安装mysql
[gaochuchu@s1 mysql57]$ bin/mysqld \ --defaults-file=/opt/module/mysql57/my.cnf \ --initialize \ --user=gaochuchu \ --basedir=/opt/module/mysql57 \ --datadir=/opt/module/mysql57/data
-
启动mysql
bin/mysqld_safe \ --defaults-file=/opt/module/mysql57/my.cnf \ --user=gaochuchu &
-
查看初始化密码
grep "password" /var/log/mysqld.log
-
利用初始化密码进入mysql,并且修改数据库密码
[gaochuchu@s1 data]$ mysql -S /opt/module/mysql57/data/mysql.sock -P 3308 -uroot -p #这里设置新密码为gcc2022 mysql> set password=password("gcc2022"); #开启远程访问 mysql> use mysql; mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'gcc2022'; mysql> flush privileges;
-
停止mysql
[gaochuchu@s1 ~]$ ps -aux|grep mysqld #通过kill 命令停止
3. Hive元数据配置到MySQL
-
将MYSQL的JDBC驱动拷贝到Hive的lib目录下
[gaochuchu@s1 mysql57]$ cp /opt/softs/mysql-connector-java-5.1.27-bin.jar $HIVE_HOME/lib
-
在mysql数据库中创建名为metastore的hive元数据的数据库
-
在$HIVE_HOME/conf目录下新建hive-site.xml文件,配置和连接mysql元数据库相关的内容
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <!-- jdbc 连接的 URL --> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://s1:3308/metastore?useSSL=false</value> </property> <!-- jdbc 连接的 Driver--> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <!-- jdbc 连接的 username--> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <!-- jdbc 连接的 password --> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>gcc2022</value> </property> <!-- Hive 元数据存储版本的验证 --> <property> <name>hive.metastore.schema.verification</name> <value>false</value> </property> <!--元数据存储授权--> <property> <name>hive.metastore.event.db.notification.api.auth</name> <value>false</value> </property> <!-- Hive 默认在 HDFS 的工作目录 --> <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> </property> </configuration>
-
初始化Hive元数据库(修改为MySQL存储元数据)
[gaochuchu@s1 hive-3.1.2]$ bin/schematool -initSchema -dbType mysql -verbose
-
启动Hive
gaochuchu@s1 hive-3.1.2]$ bin/hive
-
使用hive
hive> show databases; hive> show tables; hive> create table test (id int); hive> insert into test values(1); hive> select * from test;
4. HiveServer2服务
-
为用户提供远程访问Hive数据的功能,因此Hive的hiveserver2服务的作用是提供jdbc/odbc接口
远程访问Hive数据库时,客户端并未直接访问Hadoop集群,而是由HiveServer2代理访问。
-
Hadoop端配置
hivesever2的模拟用户功能,依赖于Hadoop提供的proxy user(代理用户功能),只有Hadoop中的代理用户才能模拟其他用户的身份访问Hadoop集群。因此,需要将hiveserver2的启动用户设置Hadoop的代理用户,增加配置文件core-site.xml并分发<!--配置所有节点的gaochuchu用户都可作为代理用户--> <property> <name>hadoop.proxyuser.gaochuchu.hosts</name> <value>*</value> </property> <!--配置gaochuchu用户能够代理的用户组为任意组--> <property> <name>hadoop.proxyuser.gaochuchu.groups</name> <value>*</value> </property> <!--配置gaochuchu用户能够代理的用户为任意用户--> <property> <name>hadoop.proxyuser.gaochuchu.users</name> <value>*</value> </property>
-
Hive端口配置
-
修hive-site.xml配置文件,增加配置信息
<!-- 指定hiveserver2连接的host --> <property> <name>hive.server2.thrift.bind.host</name> <value>s1</value> </property> <!-- 指定hiveserver2连接的端口号 --> <property> <name>hive.server2.thrift.port</name> <value>10000</value> </property>
-
-
启动hiveserver2
[gaochuchu@s1 hive-3.1.2]$ bin/hive --service hiveserver2
-
使用beeline客户端
[gaochuchu@s1 hive-3.1.2]$ bin/beeline -u jdbc:hive2://s1:10000 -n gaochuchu #退出beeline客户端 0: jdbc:hive2://s1:10000> !quit
-
关于Hive的图形化客户端
DBeaver(免费)
DataGrip(付费):可以支持多种数据库,而且学生根据校园邮箱免费使用正版Datagrip
-
试用了一下其可视化数据编辑器非常好用,而且代码导航,代码提示能力很强。
-
5. Metastore服务运行模式
-
嵌入式模式
将metastore看作一个依赖嵌入到Hiveserver2和每一个HiveCLI客户端进程,使得Hiveserver2和HiveCLI客户端直接连接访问数据库。
-
独立服务模式
把metastore服务独立出来单独启动,Hiveserver2和Hive命令行客户端都访问metastore服务,然后再由metastore访问元数据库。
- metastore服务不负责存储元数据,只负责提供访问元数据的接口。
生产环境中,不推荐使用嵌入式模式。因为其存在以下两个问题:
(i)嵌入式模式下,每个Hive CLI都需要直接连接元数据库,当Hive CLI较多时,数据库压力会比较大。
(ii)每个客户端都需要用户元数据库的读写权限,元数据库的安全得不到很好的保证。 -
独立服务模式会在s1上的hive-site.xml中配置jdbc服务,其他节点如果是hive客户端,则在hive-site.xml中删除jdbc有关的配置
并配置如下:
<!-- 指定存储元数据要连接的地址 --> <property> <name>hive.metastore.uris</name> <value>thrift://s1:9083</value> </property>
-
实例测试:
-
s1配置metastore,s2上配置客户端
-
s1启动metastore
[gaochuchu@s1 hive-3.1.2]$ hive --service metastore 使用nohup 命令可以让其后台运行 [gaochuchu@s1 hive-3.1.2]$ nohup hive --service metastore &
-
s2的/opt/module/hive-3.1.2/conf/,配置hive-site.xml,删除jdbc的相关参数,添加配置:
<property> <name>hive.metastore.uris</name> <value>thrift://s1:9083</value> </property>
-
s2节点上启动客户端
[gaochuchu@s2 hive-3.1.2]$ bin/hive
报错:
Exception in thread "main" java.lang.RuntimeException: java.net.ConnectException: Call From s2/...84 to s1:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:651) at org.apache.hadoop.hive.ql.session.SessionState.beginStart(SessionState.java:591) at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:747) at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:683) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.hadoop.util.RunJar.run(RunJar.java:318) at org.apache.hadoop.util.RunJar.main(RunJar.java:232)
解决:
- 查看了hadoop的配置,NameNode的内部通信端口设置的是8020,但是hive中连接却是9000,说明hadoop中配置的相关端口信息未同步到hive
- 将
/opt/module/hadoop-3.1.3/etc/hadoop/
的core-site.xml以及hdfs-site.xml文件放在/opt/module/hive-3.1.2/conf/
目录下
-
6. 编写脚本来管理hive的metastore/hiveserver2服务的启动和停止
-
在
/opt/module/hive-3.1.2/bin/
创建脚本文件hiveservices.sh[gaochuchu@s1 hive-3.1.2]$ sudo chmod +x /bin/hiveservices.sh #启动metastore/hiveserver2 hiveservices.sh start #停止metastore/hiveserver2 hiveservices.sh stop #重启metastore/hiveserver2 hiveservices.sh restart #查看状态metastore/hiveserver2 hiveservices.sh status
1.7 Hive常用命令
[gaochuchu@s1 hive-3.1.2]$ bin/hive -help Hive Session ID = cf0fbd78-e8f7-46dd-ab83-a8fcbf2b58e1 usage: hive -d,--define <key=value> Variable substitution to apply to Hive commands. e.g. -d A=B or --define A=B --database <databasename> Specify the database to use -e <quoted-query-string> SQL from command line -f <filename> SQL from files -H,--help Print help information --hiveconf <property=value> Use value for given property --hivevar <key=value> Variable substitution to apply to Hive commands. e.g. --hivevar A=B -i <filename> Initialization SQL file -S,--silent Silent mode in interactive shell -v,--verbose Verbose mode (echo executed SQL to the console)
-
-e 不进入hive的交互窗口执行sql语句
[gaochuchu@s1 hive-3.1.2]$ hive -e "select * from stu;"
-
-f 执行脚本中的sql语句
[gaochuchu@s1 hive-3.1.2]$ hive -f test.sql
-
退出hive窗口
hive(default)>exit; hive(default)>quit;
-
Hive客户端查看hdfs文件系统
hive(default)>dfs -ls /;
-
查看在hive中输入的所有历史命令
#在当前用户的根目录下 [gaochuchu@s1 ~]$ cat .hivehistory
7. Hive参数配置方式
-
配置文件方式
默认配置文件:hive-default.xml
用户自定义配置文件:hive-site.xml
注意:用户自定义配置会覆盖默认配置。另外,Hive 也会读入 Hadoop 的配置,因为 Hive是作为 Hadoop 的客户端启动的,Hive 的配置会覆盖 Hadoop 的配置。配置文件的设定对本机启动的所有 Hive 进程都有效。
-
命令行参数方式
启动 Hive 时,可以在命令行添加-hiveconf param=value 来设定参数。
[gaochuchu@s1 hive-3.1.2] bin/hive -hiveconf mapred.reduce.tasks=10;
仅仅对本次hive启动有效
-
参数声明方式
可以在 HQL 中使用 SET 关键字设定参数
例如:
hive (default)> set mapred.reduce.tasks=100;
注意:仅对本次 hive 启动有效。
-
查看参数设置
hive (default)> set mapred.reduce.tasks;
上述三种设定方式的优先级依次递增。即配置文件<命令行参数<参数声明。注意某些系
统级的参数,例如 log4j 相关的设定,必须用前两种方式设定,因为那些参数的读取在会话
建立以前已经完成了。
7.1 Hive常见的几个属性配置
-
Hive客户端显示当前库和表头:在hive-sites.xml配置文件中增加配置
<property> <name>hive.cli.print.header</name> <value>true</value> </property> <property> <name>hive.cli.print.current.db</name> <value>true</value> </property>
-
Hive的运行日志信息配置
-
Hive的log默认存放在/tmp/gaochuchu/hive.log 目录下(当前用户名)
-
修改hive的log日志存在到/opt/module/hive-3.1.2/logs
#修改hive-log4j2.properties.template 文件名为/hive-log4j2.properties [gaochuchu@s1 conf]$ mv hive-log4j2.properties.template hive-log4j2.properties #在/hive-log4j2.properties中修改log的存放位置 [gaochuchu@s1 conf]$ vim hive-log4j2.properties #property.hive.log.dir = ${sys:java.io.tmpdir}/${sys:user.name} 改为: property.hive.log.dir = /opt/module/hive-3.1.2/logs
-
-
Hive的JVM对内存设置
新版本的Hive启动的时候,默认申请的JVM堆内存大小为256M,JVM堆内存申请太小,导致后期开启本地模式,执行复杂SQL时经常会报错:
java.lang.OutOfMemoryError:Java Heap space。
因此最好提前调整一个HADOOP_HEAPSIZE这个参数
#修改hive-env.sh.tmplate 文件名为hive-env.sh [gaochuchu@s1 conf]$ mv hive-env.sh.template hive-env.sh #将hive-env.shi其中的参数export HADOOP_HEAPSIZE修改为2048 export HADOOP_HEAPSIZE=2048