在开始之前,需要在主机上准备好MySQL数据库,并且已经完成了hdfs和yarn的部署
步骤1:MySQL的配置
以root用户登录mysql后执行以下命令:
grant all privileges on *.* to 'root'@'%' with grant option;
flush privileges;
这样我们就授权root用户远程登录并且密码为你登录mysql所使用的密码。
步骤2:配置hadoop
在hadoop的core-site.xml文件中添加配置:
<property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.groups</name>
<value>*</value>
</property>
步骤3:下载解压Hive
点击链接,寻找要下载的Hive版本,下载压缩包。
上传到主机服务器上(我下载在node1的/export/server/目录下)
解压
tar -zxvf 压缩包 -C 要解压到的路径
如果觉得解压后的目录名字过长也可以用软链接连接到目录(后面我将目录的路径简写为hive)
步骤4:提供MySQL Driver包
下载MySQL驱动包(根据自己的系统选择)
https://dev.mysql.com/downloads/connector/j/
将下载好的驱动jar包,上传到主机上并移动到/hive/lib目录下
步骤5:配置Hive
在hive的conf目录内,有个hive-env.sh.template,将其改名为hive-env.sh,并在其内添加如下配置:
export HADOOP_HOME=/export/server/hadoop
export HIVE_CONF_DIR=/export/server/hive
export HIVE_AUX_JARS_PATH=/export/server/hive/lib
具体路径根据自己的配置进行更改。
在hive的conf目录内,新建hive-site.xml文件,填入以下内容:
<configuration>
<!-- 存储元数据mysql相关配置 -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://node1:3306/hive3?createDatabaseIfNotExist=true&useSSL=false&useUnicode=true&characterEncoding=UTF-8&allowPublicKeyRetrieval=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.cj.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>your_password</value>
</property>
<!-- H2S运行绑定host -->
<property>
<name>hive.server2.thrift.bind.host</name>
<value>node1</value>
</property>
<!-- 远程模式部署metastore metastore地址 -->
<property>
<name>hive.metastore.uris</name>
<value>thrift://node1:9083</value>
</property>
<!-- 关闭元数据存储授权 -->
<property>
<name>hive.metastore.event.db.notification.api.auth</name>
<value>false</value>
</property>
</configuration>
your_password改为root登录mysql所用的密码。
步骤6:初始化元数据库
转到hive目录执行元数据初始化命令:
bin/schematool -initSchema -dbType mysql -verbose
是否初始化成功的检验方法:
登录mysql,查看数据库,如果有hive3数据库,使用hive3数据库后查看表,如果内部有表则初始化成功。
步骤7:启动Hive(使用Hadoop用户)
- 在启动前,需要将hdfs和yarn集群启动,并确保hive文件夹所属用户为hadoop。
- 在hive目录下创建一个hive的日志文件夹,
mkdir logs
- 启动元数据管理服务(必须启动,否则无法工作)
前台启动:bin/hive --service metastore
后台启动:nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &
nohup bin/hive --service hiveserver2 >> logs/hiveserver2.log 2>&1 &
- 启动客户端
在hive目录下执行
bin/hive
当出现以下输出说明已经成功启动了Hive Beeline客户端
- 使用命令连接到Hive Metastore
!connect jdbc:hive2://node1:10000/default
username和password参考hive-site.xml文件。
显示数据库:
show databases;
如果有default数据库则启动成功。