搭建分布式Hive集群

news2024/12/20 14:20:44 
title: 搭建分布式Hive集群
date: 2024-11-29 23:39:00
categories: 
- 服务器
tags:
- Hive
- 大数据

搭建分布式Hive集群

  • 本次实验环境：Centos 7-2009、Hadoop-3.1.4、JDK 8、Zookeeper-3.6.3、Mysql-5.7.38、Hive-3.1.2

功能规划

方案一（本地运行模式）

Master
主节点（Mysql+Hive）
192.168.66.6

方案二（完全分布式模式）

MasterSlave1
主节点(Hive)数据存储节点(Mysql)
192.168.66.6192.168.66.7

准备工作

若使用方案一，则在master节点上进行”准备工作“

  • 若使用方案二，则在slave1节点上进行“准备工作”

1. 卸载以及删除自带的mariadb

# 查看cent7自带的mariadb包
rpm -qa | grep mariadb

# 这条是centos7自带的数据库安装包 mariadb-libs-5.5.68-1.el7.x86_64

# 删除自带的数据库安装包
rpm -e mariadb-libs-5.5.68-1.el7.x86_64 --nodeps

2. 安装Mysql的release文件

# 使用wget下载Mysql5.7.x版本的release文件（二选一）
wget -P /tmp/ -c 'https://mirrors.ustc.edu.cn/mysql-repo/mysql57-community-release-el7.rpm'

# 使用curl下载Mysql5.7.x版本的release文件（二选一）
curl -C - 'https://mirrors.ustc.edu.cn/mysql-repo/mysql57-community-release-el7.rpm' -O /tmp/

# 导入release的GPG秘钥
rpm --import https://mirrors.ustc.edu.cn/mysql-repo/RPM-GPG-KEY-mysql

# 安装Mysql的release包
yum install -y /tmp/mysql57-community-release-el7.rpm

3. 安装Mysql

3.1 （二选一）使用直接通过国内镜像下载依赖包并安装
# 下载mysql-community-server
wget -P /tmp/ -c 'https://mirror.tuna.tsinghua.edu.cn/mysql/yum/mysql-5.7-community-el7-x86_64/mysql-community-server-5.7.44-1.el7.x86_64.rpm'

# 下载mysql-community-client
wget -P /tmp/ -c 'https://mirror.tuna.tsinghua.edu.cn/mysql/yum/mysql-5.7-community-el7-x86_64/mysql-community-client-5.7.44-1.el7.x86_64.rpm'

# 下载mysql-community-common
wget -P /tmp/ -c 'https://mirror.tuna.tsinghua.edu.cn/mysql/yum/mysql-5.7-community-el7-x86_64/mysql-community-common-5.7.44-1.el7.x86_64.rpm'

# 下载mysql-community-libs
wget -P /tmp/ -c 'https://mirror.tuna.tsinghua.edu.cn/mysql/yum/mysql-5.7-community-el7-x86_64/mysql-community-libs-5.7.44-1.el7.x86_64.rpm'

# 安装Mysql-server
yum install -y /tmp/mysql-community*
3.2 （二选一）使用国内yum源进行一键安装
# 导入GPG公钥
rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022

# 备份原Mysql的yum源
cd /etc/yum.repos.d/
mv mysql-community.repo mysql-community.repo.bak
mv mysql-community-source.repo mysql-community-source.repo.bak

# 添加国内Mysql的yum源
cat >> mysql-community.repo << "EOF"
[mysql-connectors-community]
name=MySQL Connectors Community
baseurl=https://mirror.iscas.ac.cn/mysql/yum/mysql-connectors-community-el7-$basearch/
enabled=1
gpgcheck=1
gpgkey=https://repo.mysql.com/RPM-GPG-KEY-mysql
       https://repo.mysql.com/RPM-GPG-KEY-mysql-2022

[mysql-tools-community]
name=MySQL Tools Community
baseurl=https://mirror.iscas.ac.cn/mysql/yum/mysql-tools-community-el7-$basearch/
enabled=1
gpgcheck=1
gpgkey=https://repo.mysql.com/RPM-GPG-KEY-mysql
       https://repo.mysql.com/RPM-GPG-KEY-mysql-2022

[mysql-5.7-community]
name=MySQL 5.7 Community Server
baseurl=https://mirror.iscas.ac.cn/mysql/yum/mysql-5.7-community-el7-$basearch/
enabled=1
gpgcheck=1
gpgkey=https://repo.mysql.com/RPM-GPG-KEY-mysql
       https://repo.mysql.com/RPM-GPG-KEY-mysql-2022
EOF
# 清除yum的旧缓存，并更新的yum源的缓存
yum clean all && yum makecache

# 安装Mysql-server
yum install -y mysql-server

4. 启动Mysql

# 配置Mysql开机自启
systemctl enable mysqld

# 启动Mysql
systemctl start mysqld

# 查看Mysql状态
systemctl status mysqld

5. 配置Mysql

# 查看安装后随机生成的Mysql密码
grep 'A temporary password' /var/log/mysqld.log

# 登录数据库
mysql -uroot -p'你自己查到的密码'

# 重置默认的随机密码（不进行无法操作数据库）
ALTER USER 'root'@'localhost' IDENTIFIED BY '新密码';

# 退出数据库
exit

6. 创建用于存储Hive数据的用户

# 必须要先退出服务器，使用新的密码进入数据库才能操作
mysql -uroot -p'新密码'

# 创建名为Hiv的数据库
CREATE DATABASE hive;

# 创建名为hive的用户，并设置密码
CREATE USER 'hive'@'%' IDENTIFIED BY 'hive用户的密码';

# 授权hive用户对Hive数据库的所有权限
GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'%' WITH GRANT OPTION;
GRANT ALL on hive.* to 'hive'@'%' identified by 'hive用户密码' with grant option;

# 刷新权限
FLUSH PRIVILEGES;

7. 退出数据库

exit

正式安装Hive

在master主节点上执行

8. 安装程序文件

  • 首先上传Hive的文件到服务器上，或直接进行以下的下载行为
# 使用wget命令下载Hive文件(二选一)
wget -P /tmp/ -c 'https://repo.huaweicloud.com/artifactory/apache-local/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz'

# 使用curl命令下载Hive文件(二选一)
curl -C - 'https://repo.huaweicloud.com/artifactory/apache-local/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz' -O /tmp/

# 解压文件到指定目录
tar -zxvf /tmp/apache-hive-3.1.2-bin.tar.gz -C /opt/module/

#重命名文件夹
mv /opt/module/apache-hive-3.1.2-bin/ /opt/module/hive

9. 解决Hive与Hadoop之间的guava版本差异（依赖冲突）

# 备份hive中原guava的jar包
mv /opt/module/hive/lib/guava-19.0.jar /opt/module/hive/lib/guava-19.0.jar.bak

# 使用haddoop中guava-27版本的jar包覆盖hive中的jar包
cp $HADOOP_HOME/share/hadoop/common/lib/guava-27.0-jre.jar /opt/module/hive/lib/

10. 配置用户环境变量

cat >>  ~/.bashrc << "EOF"

# ------------------- Hive 配置--------------------
# 设置Hive环境变量，指向Hive安装目录
export HIVE_HOME=/opt/module/hive

# 将HIVE的bin目录添加到PATH环境变量
export PATH=$PATH:$HIVE_HOME/bin
# -------------------------------------------------
EOF

-----------------------------------------------------------
                          说明

举例   export PATH=$HIVE_HOME/bin:$PATH

英文冒号代表分隔

这段代码表示
1. 当你输入一个命令时，shell会首先在"HIVE_HOME"这个变量的"bin"子目录中查找，
2. 最后，若找不到，则在"PATH"的指定目录中查找

-------------------------------------------------------------

11. 编写Hive的配置文件

# 进入hive配置目录
cd /opt/module/hive/conf

# 复制hive-env.sh模板
cp hive-env.sh.template hive-env.sh

根据自己的配置信息，或者查看~/.bashrc，修改下面各项的内容，随后复制粘贴即可

# 配置hive.env.sh文件
cat >> hive-env.sh << EOF
export HADOOP_HOME=/opt/module/hadoop-3.1.4
export HIVE_CONF_DIR=/opt/module/hive/conf
export HIVE_AUX_JARS_PATH=/opt/module/hive/lib
EOF

12.编写Hive的配置文件2

如果选择方案一部署，则数据库信息填写master主机的信息，hive服务器填写master主机

  • 如果选择方案二部署，则数据库信息填写slave1主机的信息填写，hive服务器填写master主机
cat >> hive-site.xml << EOF
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- 配置存储元数据的数据库主机以及其他配置 -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true&useSSL=false&useUnicode=true&characterEncoding=UTF-8</value>
    </property>
    <!-- 配置连接数据库使用的的驱动名 -->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.cj.jdbc.Driver</value>
    </property>
    <!-- 配置连接数据库的用户名，即刚刚设置的hive -->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>hive</value>
    </property>
    <!-- 配置hive用户连接数据库的密码 -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>“你设置的hive用户密码”</value>
    </property>

    <!-- H2S(Hive服务器)运行绑定的主机 -->
    <property>
        <name>hive.server2.thrift.bind.host</name>
        <value>master</value>
    </property>

    <!-- 远程模式部署metastore(元数据)服务的地址（即数据库） -->
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://master:9083</value>
    </property>

    <!-- 关闭元数据权限的身份认证 -->
    <property>
        <name>hive.metastore.event.db.notification.api.auth</name>
        <value>false</value>
    </property>

    <!-- 关闭元数据存储版本的一致性验证 -->
    <property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
    </property>
</configuration>
EOF

13. 使用mysql-connector-java驱动

网上找不到5.5、5.6、5.7版本的驱动，官网提供了解决方法：

  • Connector/J 8.0 provides compatibility with all the functionality of MySQL 5.5, 5.6, 5.7, and 8.0，翻译过来就是说——8.0版本的驱动兼容这些版本，使用8.0版本的驱动就可以了

  • mysql-connector-java驱动目录1

  • mysql-connector-java驱动目录2

  • mysql-Connector-J安装包下载_开源镜像站-阿里云

# 根据你自己的mysql版本，在目录中查找对应版本的驱动，并放到hive主目录下的lib下即可
cp mysql-connector-java-8.0.26.jar /opt/module/hive/lib/

结束安装

14. 加载环境变量

# 在master主节点上执行
source ~/.bashrc

15. 启动Hive

# 初始化Hive元数据到Mysql
schematool -initSchema -dbType mysql

# 创建日志目录
mkdir $HIVE_HOME/logs

# 启动Hive服务
cd $HIVE_HOME/logs && hive --service metastore

16. 验证Hive部署是否成功

# 进入Mysql数据库
myslq -uroot -p'新密码'

# 改变使用的数据库
use hive;

# 查看数据库中的表
show tables;

# 若里面有数据，则部署成功

17. 后台启动Hive服务

nohup hive --service metastore > $HIVE_HOME/logs/nohup.out 2>&1 &

参考文档

  1. Hive3.1.2版本完全分布式安装部署保姆级教程_hive 3.1.2 部署-CSDN博客

  2. Hive3.1.2搭建文档包含详细步骤及相关截图以及常见问题解决 - bjynjj - 博客园

  3. 从零开始搭建分布式大数据环境（Hadoop+Spark+Hive）

  4. 【超详细】CentOS 7安装MySQL 5.7【安装及密码配置、字符集配置、远程连接配置】_mysql contos 密码配置文件-CSDN博客

  5. Linux安装软件包的三种方法，rpm包介绍，rpm工具用法，yum工具用法，yum搭建本地仓库-腾讯云开发者社区-腾讯云

  6. mysql | 镜像站使用帮助 | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

  7. MySQL - USTC Mirror Help

  8. 【超详细】CentOS 7安装MySQL 5.7【安装及密码配置、字符集配置、远程连接配置】_mysql contos 密码配置文件-CSDN博客

  9. 通过国内mysql镜像站安装Mysql8.0版本服务器——解决方案_mysql国内镜像-CSDN博客

  10. Maven中找不到mysql-connector-java-5.7.24.jar的依赖_mysql5.7.24对应的jar包版本-CSDN博客

  11. JDBC连接数据库出现Loading class com.mysql.jdbc.Driver'. This is deprecated.问题的相关解决方法_this is deprecated. the new driver class is com.m-CSDN博客

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2262760.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

React 第十七节 useMemo用法详解

React 第十七节 useMemo用法详解

概述 useMemo 是React 中的一个HOOK&#xff0c;用于根据依赖在每次渲染时候缓存计算结果&#xff1b; 大白话就是&#xff0c;只有依赖项发生变化时候&#xff0c;才会重新渲染为新计算的值&#xff0c;否则就还是取原来的值&#xff0c;有点类似 vue 中的 computed 计算属性…
阅读更多...
景联文科技：精准语音标注，驱动语音技术新发展

景联文科技：精准语音标注，驱动语音技术新发展

在人工智能迅速发展的今天&#xff0c;语音技术的应用已经渗透到我们生活的方方面面。从智能音箱、语音助手到自动语音识别系统&#xff0c;高质量的语音数据是这些应用成功的关键。景联文科技作为领先的AI数据服务提供商&#xff0c;专注于为客户提供高精度、高效的语音标注服…
阅读更多...
中文分词学习

中文分词学习

1.安装 jieba 库 !pip install jieba jieba 库是用于中文分词的工具&#xff0c;它通过精确的分词算法来处理文本。通过分词可以将中文句子拆分成单独的词语&#xff0c;这对于自然语言处理任务非常重要&#xff0c;比如文本分类、情感分析、关键词提取。 2.中文文本分词处理…
阅读更多...
Android 动画深度解析

Android 动画深度解析

一、Android 动画发展历程与核心类型总览 自 Android 诞生起&#xff0c;动画系统便不断推陈出新。早期存在补间动画&#xff08;Tween Animation&#xff09;与帧动画&#xff08;Frame Animation&#xff09;&#xff0c;而 Android 3.0 重磅引入属性动画&#xff08;Proper…
阅读更多...
Linux-ubuntu之主频和时钟配置

Linux-ubuntu之主频和时钟配置

Linux-ubuntu之主频和时钟配置 一&#xff0c;主频二&#xff0c;其它时钟配置1.PLL2和PLL3的PFD0-3设置2.AHB_CLK_ROOT3.IPG 和 PERCLK时钟 三&#xff0c;总结 一&#xff0c;主频 24MHz 晶振为内核和其它外设提供时钟源&#xff0c;经电路后到PLL1变为996MHZ&#xff0c;再…
阅读更多...
Autosar入门_汽车电子控制器

Autosar入门_汽车电子控制器

上一篇 | 返回主目录 汽车电子控制器 1 汽车电子控制器定义2 从功能角度来看构成2.1 车门控制器简单示例2.1.1 解锁过程分析2.1.2 无框车窗短降2.1.3 下电控制电耗2.2 控制器几大基本功能 3 从硬件构成角度看构成3.1 芯片类别说明3.2 芯片与功能联系 1 汽车电子控制器定义 汽…
阅读更多...
变压器“变压”和“变流”说明

变压器“变压”和“变流”说明

变压器可以改变交流电压的大小&#xff0c;也可以改变交流电流的大小。 改变交流电压 变压器既可以升高交流电压&#xff0c;也能降低交流电压。在忽略电能损耗的情况下&#xff0c;变 压器电压U、二次电压U2与烧组匝数N、二次烧组匝数的关系为&#xff1a; n称为匝数比或电…
阅读更多...
初学stm32 --- 时钟配置

初学stm32 --- 时钟配置

目录 stm32时钟系统 时钟源 &#xff08;1&#xff09; 2 个外部时钟源&#xff1a; &#xff08;2&#xff09;2 个内部时钟源&#xff1a; 锁相环 PLL PLLXTPRE&#xff1a; HSE 分频器作为 PLL 输入 (HSE divider for PLL entry) PLLSRC&#xff1a; PLL 输入时钟源 (PL…
阅读更多...
[机器学习]XGBoost（3）——确定树的结构

[机器学习]XGBoost（3）——确定树的结构

XGBoost的目标函数详见[机器学习]XGBoost&#xff08;2&#xff09;——目标函数&#xff08;公式详解&#xff09; 确定树的结构 之前在关于目标函数的计算中&#xff0c;均假设树的结构是确定的&#xff0c;但实际上&#xff0c;当划分条件不同时&#xff0c;叶子节点包含的…
阅读更多...
常用命名总结

常用命名总结

命名在编程中是非常重要的&#xff0c;它直接影响到代码的可读性、可维护性和开发效率。一个好的命名能够让代码更加直观、易于理解和修改&#xff0c;反之&#xff0c;不恰当的命名可能导致混乱、错误和难以调试的问题。以下是一些关于命名的最佳实践和原则&#xff1a; 1. 简…
阅读更多...
AutoMQ 流表一体新特性 Table Topic 发布： 无缝集成 AWS S3 Table 和 Iceberg

AutoMQ 流表一体新特性 Table Topic 发布： 无缝集成 AWS S3 Table 和 Iceberg

超越共享存储&#xff1a;使用 Apache Iceberg 中的 AutoMQ Table Topic 实现流处理与分析的统一 自 2023 年底官宣以来&#xff0c;AutoMQ 成功地将 Apache Kafka 从“Shared Nothing architecture”转变为“Shared Storage architecture”&#xff0c;这为京东、知乎、小红书…
阅读更多...
maven使用Dependency-Check来扫描安全漏洞

maven使用Dependency-Check来扫描安全漏洞

在现代软件开发中&#xff0c;使用开源库和第三方依赖项已成为常态。然而&#xff0c;这些依赖项可能包含已知的安全漏洞&#xff0c;给应用程序带来潜在的风险。为了解决这个问题&#xff0c;OWASP Dependency-Check 应运而生。本文将介绍 OWASP Dependency-Check 的功能、安装…
阅读更多...
#渗透测试#红队全栈 powshell基础使用

#渗透测试#红队全栈 powshell基础使用

声明&#xff01; 学习视频来自B站up主 泷羽sec&#xff0c;任何违法事件与本人以及泷羽sec团队无关&#xff0c;切勿触碰法律底线&#xff0c;否则后果自负&#xff01;&#xff01;&#xff01;&#xff01; 目录标题 认识powsehll打开方式 使用方式美化自己的powershell简单…
阅读更多...
Qt：QMetaObject::connectSlotsByName实现信号槽自动关联

Qt：QMetaObject::connectSlotsByName实现信号槽自动关联

简介 在Qt中&#xff0c;QMetaObject::connectSlotsByName 是一个便利的方法&#xff0c;它可以根据对象的对象名&#xff08;objectName&#xff09;自动将信号和槽连接起来。但是&#xff0c;要使用这个方法&#xff0c;必须确保&#xff1a; 1 控件&#xff08;如按钮&…
阅读更多...
《算法ZUC》题目

《算法ZUC》题目

判断题 ZUC算法LFSR部分产生的二元序列具有很低的线性复杂度。 A.正确 B.错误 正确答案A 单项选择题 ZUC算法驱动部分LFSR的抽头位置不包括&#xff08; &#xff09;。 A.s15 B.s10 C.s7 D.s0 正确答案C 单项选择题 ZUC算法比特重组BR层主要使用了软件实现友好的…
阅读更多...
maven项目中对不同目录下的同包同名类的引用情况整理

maven项目中对不同目录下的同包同名类的引用情况整理

说明 maven项目&#xff0c;允许在不同目录中出现相同包名和相同类名&#xff0c;不会出现冲突&#xff0c;包括&#xff1a; java目录test目录依赖中目录 这里就用Hutool.class类中的一个常量做测试&#xff0c;如图 好奇同包同名类同时存在时&#xff0c;会加载哪个类 Syst…
阅读更多...
【UE5 C++课程系列笔记】10——动态单播/多播的基本使用

【UE5 C++课程系列笔记】10——动态单播/多播的基本使用

目录 概念 申明动态委托 一、DECLARE_DYNAMIC_DELEGATE 二、DECLARE_DYNAMIC_MULTICAST_DELEGATE 绑定动态委托 一、BindDynamic 二、AddDynamic 三、RemoveDynamic 执行动态委托 ​一、Execute 二、ExecuteIfBound 三、IsBound 四、Broadcast 动态单播使用示…
阅读更多...
Redis篇-19--运维篇1-主从复制（主从复制，读写分离，配置实现，实战案例）

Redis篇-19--运维篇1-主从复制（主从复制，读写分离，配置实现，实战案例）

1、概述 Redis的主从复制&#xff08;Master-Slave Replication&#xff09;是一种数据冗余机制&#xff0c;它允许将一台Redis服务器的数据复制到其他Redis服务器。在主从复制中&#xff0c;有一台主服务器&#xff08;Master&#xff09;和一个或多个从服务器&#xff08;Sl…
阅读更多...
【ORACLE】一个允许关键字作为别名所引起的语法歧义场景

【ORACLE】一个允许关键字作为别名所引起的语法歧义场景

前言 最近在看SQL语法解析器&#xff0c;发现了antlr4提供的PlSql语法树存在一个BUG&#xff0c;然后我顺着这个BUG&#xff0c;构造了一条SQL&#xff0c;在ORACLE执行&#xff0c;如下 然后神奇的事情出现了&#xff0c;这个查询竟然没有返回行&#xff01;t1表左关联t2&…
阅读更多...
【前端】Jquery拍照，通过PHP将base64编码数据转换成PNG格式，并保存图像到本地

【前端】Jquery拍照，通过PHP将base64编码数据转换成PNG格式，并保存图像到本地

目录 一、需求 二、开发语言 三、效果 四、业务逻辑&#xff1a; 五、web端调用摄像头 六、示例代码 1、前端 2、后端 一、需求 web端使用jquery调用摄像头拍照&#xff0c;并使用PHP把base64编码转换成png格式图片&#xff0c;下载到本地。 由于js不能指定图片存储的…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023