一、配置Hadoop环境
先看看伪分布式下的集群环境有没有错误的情况:
输入命令:start-all.sh
jps查看伪分布式的所有进程是否完善
二、解压并配置Hive
Hive压缩包→ https://pan.baidu.com/s/1eOF_ICZV8rV-CEh3nX-7Xw 提取码: m31e 复制这段内容后打开百度网盘手机App,操作更方便哦
放在/opt/soft目录下
改名为hive312
编辑配置文件
打开/opt/soft/hive312/conf/目录:cd /opt/soft/hive312/conf/
创建 hive-site.xml文件:touch hive-site.xml
[root@hadoop3 opt]# cd /opt/soft/hive312/conf/
[root@hadoop3 conf]# touch hive-site.xml
[root@hadoop3 conf]# vim hive-site.xml
配置文件
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/opt/soft/hive312/warehouse</value>
</property>
<property>
<name>hive.metastore.db.type</name>
<value>mysql</value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.168.153.134:3306/hive139?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.cj.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123123</value>
</property>
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
<description>关闭schema验证</description>
</property>
<property>
<name>hive.cli.print.current.db</name>
<value>true</value>
<description>提示当前数据库名</description>
</property>
<property>
<name>hive.cli.print.header</name>
<value>true</value>
<description>查询输出时带列名一起输出</description>
</property>
</configuration>
Tips:
下面这些需要根据进行更改。
检查系统guava版本
# 返回空值,说明没有安装
# 这里的路径是 hive312/lib 目录下
[root@hadoop3 conf]# ls ../lib/ | grep guava
我这里自带的是guava-19,为了防止版本问题导致安装失败,将其进行删除后重新安装。
# 删除guava-19
[root@hadoop3 conf]# rm -f ../lib/guava-19.0.jar
# 查找hadoop下的guava jar包
[root@hadoop3 conf]# find /opt/soft/hadoop313/ -name guava*
# 将查找到的hadoop下的guava jar包拷贝到hive目录下
[root@hadoop3 conf]# cp /opt/soft/hadoop313/share/hadoop/common/lib/guava-27.0-jre.jar ../lib/
更新MySQL的jar包
在hive312下面添加一个mysql-connector-java jar包
初始化MySQL
[root@hadoop3 conf]# schematool -dbType mysql -initSchema
三、启动hive
输入hive命令启动服务
打开可视化窗口,可以看到我们新建的数据库。
启动mr历史服务器
[root@hadoop3 conf]# mr-jobhistory-daemon.sh start historyserver
在端口号19888中可以看到历史命令