一、虚拟机安装CentOS7并配置共享文件夹
二、CentOS 7 上hadoop伪分布式搭建全流程完整教程
三、本机使用python操作hdfs搭建及常见问题
四、mapreduce搭建
五、mapper-reducer编程搭建
六、hive数据仓库安装
hive数据仓库搭建
- 一、hive数据仓库安装
- 1.1下载hive安装包
- 1.2修改配置文件
- 1.3初始化元数据库
- 1.4修改环境变量
- 1.5验证安装
- 二、windows物理机安装mysql
- 三、vmtool安装
- 四、阶段总结
一、hive数据仓库安装
1.1下载hive安装包
下载链接
解压到当前文件夹
tar -zxvf apache-hive-2.3.9-bin.tar.gz
移动到安装目录
sudo mv apache-hive-2.3.9-bin /usr/local
1.2修改配置文件
进入到安装目录的conf目录
cd /usr/local/apache-hive-2.3.9-bin/conf
使用复制方式新建hive-default.xml文件
cp hive-default.xml.template hive-default.xml
新建hive-site.xml
gedit hive-site.xml
粘贴如下内容
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- ########################### hive的 JDBC连接 ############################ -->
<!-- mysql 连接用户名 -->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<!-- mysql 连接密码 -->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
<!-- mysql 连接URL 如果hive和mysql在同一服务器上，使用localhost -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.168.22.49:3306/myhive</value>
</property>
<!-- mysql 连接驱动 -->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
</configuration>
其中192.168.22.49为物理机ip，myhive数据库需要在物理机mysql5.7中创建，否则执行./schematool -initSchema -dbType mysql报错
1.3初始化元数据库
下载mysql驱动jar包
下载链接
下载完成之后放到/usr/local/apache-hive-2.3.9-bin/lib路径下
进入/usr/local/apache-hive-2.3.9-bin/bin目录下执行初始化元数据库
命令
./schematool -initSchema -dbType mysql
1.4修改环境变量
更新hive环境变量到配置文件
sudo gedit /etc/profile
文件末尾追加
export HIVE_HOME=/usr/local/apache-hive-2.3.9-bin
export PATH=$PATH:$HIVE_HOME/bin
刷新环境
source /etc/profile
1.5验证安装
在保证hadoop集群处于打开状态，物理机mysql处于运行状态，执行以下命令
hive
通过hive搭建可以实现对物理机mysql5.7中数据库的操作。
二、windows物理机安装mysql
之所以把这个放到hive安装之后是因为，我原来已经安装过了，如果你原来没有安装的话，需要先安装这个，再进行hive搭建
安装包
链接: https://pan.baidu.com/s/1uA–xggCc0HKXuA3IpluBg 提取码: 4r5x
安装需要勾选MySQL Server 以及MySQL Workbench进行安装
安装出现关于Microsoft Visual c++ 2013的报错可以看看这个
三、vmtool安装
vmtool可以实现在物理机和虚拟机之间复制粘贴，与hive搭建并无关系
若未安装，此处为安装VMware Tools ,点击进行安装
安装VMware-tool工具选项为黑色解决参考：https://blog.csdn.net/weixin_45158066/article/details/123268884
安装过后，打开虚拟机，将VMware-tool系统分区的文件复制到虚拟机文件分区,如/home/huangqifa/VMware-tool
解压
tar -xzvf VMwareTools-10.3.23-17030940.tar.gz
去解压目录找到vmware-install.pl，进入该目录打开终端
执行安装命令
sudo ./vmware-install.pl -d
之后就可以和本机之间进行复制粘贴了，整体可以说就是参考虚拟机软件下面那行黄色提示
具体安装参考：https://blog.csdn.net/zhujing16/article/details/88677253
四、阶段总结
到此云计算课程就正式结束，该教程到这里就要和大家说拜拜了。
基于本次云计算课程的环境搭建可以实现:
大数据电影可视化系统
基于本项目的云计算课程结课报告，设计流程图等我的结课提交材料见以下github链接
Cloud-Computing-Course-Closing-Report
参考文献：
CentOS7 Hive 安装
大数据电影可视化系统
