CDH 6.3.2 升级Hive 2.3.9

news2024/11/18 23:35:33

升级背景

DolphinScheduler 3.1.1安装好后，其源码中集成的是Hive 2.1.1，版本太低，当在数据中心连接Hive数据源时报错，所以升级CDH自带的Hive为2.3.9版本。

一、准备工作

1、下载hive2.3.9并解压

下载地址：http://archive.apache.org/dist/hive/

[root@bj-zjk-001 install]# tar -xzvf apache-hive-2.3.9-bin.tar.gz

2、备份Hive元数据

3、停掉CDH-Hive集群

二、升级CDH-Hive版本

每个安装了Hive的节点都要执行如下的3个步骤，具体步骤如下：

1、将hive-2.3.9下lib目录复制到CHD的hive目录下

 cp -r /opt/install/hive-2.3.9/lib/ /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive/lib239/

2、修改CDH-Hive的启动文件

# 切换到CDH-Hive的bin目录
[root@bj-zjk-001 hive]# cd /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive/bin/
# 修改启动文件
[root@bj-zjk-001 bin]# vim hive

#HIVE_LIB=${HIVE_HOME}/lib
HIVE_LIB=${HIVE_HOME}/lib238

3、替换CDH-Spark中的Hive包（Hive on Spark运行）

# 将hive-exec-2.3.9.jar拷贝到CDH-Spark的hive目录下
[root@bj-zjk-001 install]# cp /opt/install/hive-2.3.9/lib/hive-exec-2.3.9.jar /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/spark/hive/

三、升级hive的mysql数据库

在hive安装包的scripts目录下有升级数据库的脚本

必须先切换到脚本所在的目录，再登录MySQL，然后执行脚本

# 切换到hive安装包的scripts目录
[root@bj-zjk-001 mysql]# cd /opt/install/hive-2.3.9/scripts/metastore/upgrade/mysql
# 登录mysql
[root@bj-zjk-001 mysql]# mysql -uroot -pyour-password
# 切换到hive的数据库
mysql> use metastore;
# 由于是从2.1.1升级到2.3.9，所以需要执行两个版本的脚本
# 执行脚本
mysql> source upgrade-2.1.0-to-2.2.0.mysql.sql;
# 执行脚本
mysql> source upgrade-2.2.0-to-2.3.0.mysql.sql;