数据仓库hive本地/远程模式安装

news2024/11/25 8:29:05

文章目录

  • 1.简述
  • 2.本地模式
    • 2.1安装包准备
    • 2.2解压安装mysql
      • 2.2.1 解压mysql安装包
      • 2.2.2 安装mysql相关组件
      • 2.2.3 修改my.cnf配置文件
      • 2.2.4 更改所属组
      • 2.2.5 启动mysql服务
    • 2.3 hive解压安装及配置
      • 2.3.1 解压
      • 2.3.2 改名
      • 2.3.3 配置环境变量
      • 2.3.4 添加hive-site.xml配置文件
      • 2.3.5 放置mysql驱动文件
      • 2.3.6 启动hive
  • 3.远程模式
    • 3.1将hive文件夹以及环境变量分发到从节点slave2
    • 3.2 启动元数据Metastore,及hiveserver2相关服务
    • 3.3 远程连接
  • 4.结束语

1.简述

hive的安装模式有三种:嵌入模式、本地模式以及远程模式。
嵌入模式:即使用hive自身内嵌的数据库Derby作为存储介质进行数据的存储。
本地模式:即使用外部数据库作为存储介质进行数据的存储
远程模式:与本地模式相似,不过其操作是先开一个Metastore服务,再用其他的客户端通过响应的配置去连接服务。
我们平常大多情况会使用其他的服务器去连接hive,及需要用到远程模式。远程模式是建立在本地模式之上的,所以这篇文章主要讲述hive本地模式的安装过程,及远程连接。

2.本地模式

2.1安装包准备

到相应网址下载mysql安装包,hive安装包,mysql驱动文件;mysql安装包下载链接,hive安装包下载链接

利用xftp软件,将mysql安装包与hive安装包上传至linux系统的指定路径/export/software
在这里插入图片描述

2.2解压安装mysql

2.2.1 解压mysql安装包

先在文件目录/export/servers下创建一个mysql文件夹,再进入mysql安装包所在文件夹/export/software,执行解压命令解压到指定文件目录/export/servers/mysql
在这里插入图片描述

2.2.2 安装mysql相关组件

再进入mysql文件目录,解压mysql相关组件,分别执行如下命令:

rpm -ivh mysql-community-server-5.7.12-1.el6.x86_64.rpm --force --nodeps
rpm -ivh mysql-community-client-5.7.12-1.el6.x86_64.rpm --force --nodeps
rpm -ivh mysql-community-libs-5.7.12-1.el6.x86_64.rpm --force --nodeps
rpm -ivh mysql-community-common-5.7.12-1.el6.x86_64.rpm --force --nodeps

在这里插入图片描述
在这里插入图片描述

2.2.3 修改my.cnf配置文件

执行命令vi /etc/my.cnf编辑my.cnf文档,向其中添加如下代码:

skip-grant-tables  #跳过登陆验证
user=root  #设置root为mysql用户
character_set_server=utf8  #设置mysql服务默认字符集utf8
init_connect='SET NAMES utf8'  #设置初次连接默认字符集utf8

编辑完,保存退出
在这里插入图片描述

2.2.4 更改所属组

执行命令chown -R mysql:mysql /var/lib/mysql

2.2.5 启动mysql服务

执行命令systemctl start mysqld启动mysql服务器,也可以使用命令systemctl status mysqld查看服务器状态;执行命令systemctl enable mysqld设置虚拟机开机mysql服务自动启动(图中没有执行,大家要执行这条命令)
在这里插入图片描述

执行命令mysql进入mysql交互式界面
在这里插入图片描述
这时mysql正使用%s选项运行,不能执行mysql语句,我们需要先执行命令flush privileges;刷新即可,再输入代码set password for root@localhost=password('你的密码(自己设置)');
在这里插入图片描述
执行命令grant all privileges on *.* to ‘root’@’%’ identified by ‘密码’ with grant option;赋予所有访问权限
在这里插入图片描述
退出输入命令quit;退出mysql交互式界面
再执行命令vi /etc/my.cnf对文档进行修改,注释跳过密码验证那行代码(“#”代表注释)
在这里插入图片描述
编辑完,保存退出即可,下次登录mysql即需要输入代码mysql -u用户名 -p来登录(用户名一般为root),回车输入密码(输入密码时不会显示,输完回车即可)
在这里插入图片描述

2.3 hive解压安装及配置

2.3.1 解压

将hive安装包解压到指定目录/export/servers
在这里插入图片描述

2.3.2 改名

由于解压后的文件名带有版本号,把文件名直接改为hive更简洁,方便后续的使用(执行改名命令前,需要进入hive解压包所在目录)
在这里插入图片描述

2.3.3 配置环境变量

执行命令vi /etc/profile编辑文档,向文档末尾添加如下代码:

export HIVE_HOME=/export/servers/hive
export PATH=$PATH:$HIVE_HOME/bin

修改完,保存退出,再执行命令source /etc/profile使环境变量生效
在这里插入图片描述
在这里插入图片描述

2.3.4 添加hive-site.xml配置文件

进入hive安装目录下的conf目录,执行命令vi hive-site.xml新建文件,并向其中添加如下内容:

<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriveName</name>
    <value>com.mysql.jdbc.Driver</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>mysql数据库密码</value>
  </property>
</configuration>

编辑完,保存退出(注意,内容里面的master指的是我自己的hadoop集群主节点,自己主机名是什么就写什么)
在这里插入图片描述

2.3.5 放置mysql驱动文件

到相应网址下载驱动文件:mysql驱动文件下载链接
通过xftp软件,将驱动文件上传至linux系统指定目录/export/servers/hive/lib下
在这里插入图片描述

2.3.6 启动hive

先在/root目录下创建一个metastore文件夹,再进入这个文件夹,输入命令nohup /export/servers/hive/bin/hive --service metastore &启动hive的metastore服务
在这里插入图片描述
通过命令jps可以查看进程,其中的RunJar表示metastore相关进程,有它则表示启动成功
在这里插入图片描述
由于我们配置过hive的系统环境变量,所以在任何目录下都能直接输入命令hive启动hive(注意:由于hive底层应用的是MapReduce,且其存储介质为外界数据库mysql,所以在启动hive之前,要先启动hadoop集群,以及mysql服务)
在这里插入图片描述
输入命令show databases;可以查看数据库,从中可以看出有个默认的default数据库
在这里插入图片描述
我们在hive中创建的数据库存储在HDFS中的/user/hive/warehouse/路径下

3.远程模式

3.1将hive文件夹以及环境变量分发到从节点slave2

执行如下命令:

scp -r /export/servers/hive slave2:/export/servers
scp -r /etc/profile/ slave2:/etc

分发完后,在从节点slave2执行命令source /etc/profile使环境变量生效

3.2 启动元数据Metastore,及hiveserver2相关服务

先在/root目录下创建一个metastore文件夹,再进入这个文件夹,输入命令nohup /export/servers/hive/bin/hive --service metastore &启动hive元数据metastore服务
在这里插入图片描述

再在/root目录下创建一个hiveserver2文件夹,进入此文件夹,输入命令nohup /export/servers/hive/bin/hive --service hiveserver2 &启动远程连接服务hiveserver2
在这里插入图片描述

输入命令jps可以看出有两个RunJar进程,其中一个是元数据metastore的相关进程,另一个是远程连接服务hiveserver2的相关进程,如果有这两个进程,说明启动成功。
在这里插入图片描述

3.3 远程连接

打开从节点slave2,输入远程连接命令beeline进行连接(由于我们配置了hive的系统环境变量,所以可以在任何路径下直接输入beeline,如果没配置,则需要进入hive文件目录下的bin目录才能执行beeline命令)
在这里插入图片描述
输入连接协议,用户名以及密码
在这里插入图片描述
在这里输入HQL指令show databases;可以看出其中有个默认数据库default(这里远程连接其实和本地模式并无较大差异,用的元数据都是外界数据库mysql的,只不过在master节点多开了一个hiveserver2服务,利用slave2去连接这个服务)
在这里插入图片描述
至此,远程连接已叙述完!

4.结束语

至此,hive本地/远程模式安装就结束了,大家在安装过程中遇到什么问题,可以提出来,我会尽自己所能去帮大家解决问题;大家能学到hive这里,相信大家对虚拟机的命令的使用已经非常熟练了,如果还不太熟练,可以借鉴学习这篇文章:haddoop集群的搭建(其中讲述了一些基本命令)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/574309.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

《Spring Guides系列学习》guide6 - guide10

要想全面快速学习Spring的内容&#xff0c;最好的方法肯定是先去Spring官网去查阅文档&#xff0c;在Spring官网中找到了适合新手了解的官网Guides&#xff0c;一共68篇&#xff0c;打算全部过一遍&#xff0c;能尽量全面的了解Spring框架的每个特性和功能。 接着上篇看过的gu…

VIBRO METER 带缓冲输出的机械监控系统接口套件

高质量、高可靠性的接口套件&#xff0c;用于现有机械监控系统的缓冲“原始”传感器输出信号。该接口套件支持多达25个通道&#xff0c;可以是动态或转速计(速度)信号。接口套件采用DIN导轨安装&#xff0c;通常安装在装有VM600或VibroSmart机械监控系统的外壳中。 特征 支持…

为 Kotlin 的函数添加作用域限制(以 Compose 为例)

前言 不知道各位是否已经开始了解 Jetpack Compose&#xff1f; 如果已经开始了解并且上手写过。那么&#xff0c;不知道你们有没有发现&#xff0c;在 Compose 中对于作用域&#xff08;Scopes&#xff09;的应用特别多。比如&#xff0c; weight 修饰符只能用在 RowScope 或…

docker快速部署hue+hue集成hive

首先需要安装hive&#xff0c;hive的安装在HIVE的安装与配置_EEEurekaaa&#xff01;的博客-CSDN博客 安装完成之后&#xff0c;使用脚本命令启动hdfs和hive的相关服务。 一、安装docker # 安装yum-config-manager配置工具 $ yum -y install yum-utils # 设置yum源 $ yum-co…

《俞军产品方法论》- 站在更高的角度来拓展产品经理的内涵和边界

关于作者 俞军&#xff0c;互联网产品大神级人物。他是早年百度唯一的产品经理&#xff0c;主持了百度搜索这款产品的无数次进化&#xff0c;并主持设计了百度贴吧、百度 知道等世界级创新产品&#xff0c;后来又成为滴滴出行的产品负责人。他的 “ 俞军产品经理十二条 ” &a…

TexSAW|2023|Cryptography&Misc|WP

Cryptography&#xff5c;Crack the crime 用 nc 连上后&#xff0c;直接得到第一题 是一个简单的base64加密&#xff0c;解密如下&#xff1a; Meet in dubai on Tuesday 填入之后可获得第二题 猜测是古典加密&#xff0c;随后经过N次尝试后发现是rot13加密&#xff0c;解密…

蓝牙耳机怎么选?蓝牙耳机哪些性价比高?2023年蓝牙耳机推荐,蓝牙耳机品牌排行榜,蓝牙耳机最全选购指南

蓝牙耳机怎么选&#xff1f;蓝牙耳机哪些性价比高&#xff1f;2023年蓝牙耳机推荐&#xff0c;蓝牙耳机品牌排行榜&#xff0c;蓝牙耳机最全选购指南 观前提醒&#xff0c;本文中你将会了解到&#xff1a; &#xff5c;蓝牙耳机抄作业环节 &#xff5c;蓝牙耳机基础知识 &a…

快速上手kettle

一、前言 最近由于工作需要&#xff0c;需要用到kettle工具进行数据迁移转换。特意找资料学习了一下&#xff0c;kettle基本操作算是学会了。 所学的也结合实际工作进行了验证。为了防止以后用到忘记了&#xff0c;便写了几篇文章记录一下。 二 、ETL简介 ETL ( Extract-Tran…

synchronized 关键字和 volatile 关键字有什么区别?

synchronized 关键字和 volatile 关键字有什么区别&#xff1f; 在 Java 中&#xff0c;synchronized 关键字和 volatile 关键字都可以用来实现线程安全&#xff0c;但是它们有不同的用途和实现方式。本文将介绍 synchronized 关键字和 volatile 关键字的区别&#xff0c;包括…

二肽二氨基丁酰苄基酰胺二乙酸盐/Dipeptide Diaminobutyroyl Benzylamide Diacetate/SYN-AKE

作用机理----二肽二氨基丁酰苄基酰胺二乙酸盐 类蛇毒三肽通过松弛面部肌肉而作为有效的平滑和祛皱活性产品, 该活性三肽作用方式与 Temple Viper 毒蛇毒液的神经肌肉阻断化合物Waglerin 1 一致。类蛇毒三肽作用于突触后膜, 是肌肉烟碱乙酰胆碱受体(nmAChR)可逆转的拮抗剂。类蛇…

docker安装单机nacos、rocketmq、reids、xxl-job、minio、elasticsearch、kibana

启动容器报错 直接删除那个name后边的就可以 安装nacos 首先需要拉取对应的镜像文件&#xff1a;docker pull nacos/nacos-server 挂载目录&#xff1a; mkdir -p /mydata/nacos/logs/ #新建logs目录mkdir -p /mydata/nacos/init.d/ vim /myda…

使用 Kotlin 的 Opt-in (选择加入)功能注解API提示当前非稳定API

前言 之前在给公司项目封装库的时候&#xff0c;领导告诉我封装的漂亮一点&#xff0c;等以后公司发展起来了可能需要把这个库提供给第三方接入使用。 此时&#xff0c;就有这么一个问题&#xff1a;某些功能函数使用条件比较苛刻&#xff0c;直接使用可能会出现意想不到的后…

Mock.js 的语法规范学习

Mock.js 有一套完整的语法规范,可以好好学学。 Mock.js 的语法规范包括两部分&#xff1a; 数据模板定义规范&#xff08;Data Template Definition&#xff0c;DTD&#xff09; 数据占位符定义规范&#xff08;Data Placeholder Definition&#xff0c;DPD&#xff09; 数…

【mediasoup】12: ChannelRequest控制指令

rust 是把worker 当做lib 调用的。node是当做一个进程每一个ChannelRequest 就是一个外部发给worker的控制指令worker要负责处理。控制指令的处理实际是worker做的,worker可能立即执行,可能交给对应的handler去处理 worker根据指令id 来处理 处理完毕后才发消息ack 给控制侧 …

# Spring Boot 中如何使用 Spring Cloud Sleuth 来实现分布式跟踪?

Spring Boot 中如何使用 Spring Cloud Sleuth 来实现分布式跟踪&#xff1f; 在微服务架构中&#xff0c;通常会有多个服务相互协作&#xff0c;为了方便排查问题&#xff0c;我们需要对服务之间的调用进行跟踪。Spring Cloud Sleuth 是 Spring Cloud 生态中的分布式跟踪解决方…

charles使用

charles​ 一、概念​ charles是一款非常优秀的抓包工具&#xff0c;全平台支持&#xff0c;在mac&#xff0c;windows&#xff0c;linux上都可以使用&#xff0c;既可以抓 取web端的包&#xff0c;也可以抓app端的包。 ​ charles主要的功能包括如下几点&#xff1a; ​ 截取…

Linux网络服务:SSH远程访问及控制2

目录 一、理论 1.构建密钥对验证的SSH体系 2.TCP Wrappers访问控制 二、实验 1.ecdsa免密连接 2.rsa免密连接 一、理论 1.构建密钥对验证的SSH体系 &#xff08;1&#xff09;免密连接原理 ① 手动添加客户端的公钥到服务端 ② 服务端收到客户端的公钥后使用客户端公钥…

C++——引用

引用的概念 初步理解&#xff1a;引用相当于给变量取了一个别名&#xff0c;它和引用的变量共用同一块空间。 就好比孙悟空有很多外号&#xff0c;例如孙行者&#xff0c;齐天大圣&#xff0c;斗战胜佛&#xff0c;但是它们所指都是孙悟空。同样的&#xff0c;如果齐天大圣大…

如何在 Ubuntu 22.04 上安装 Python Pip?

Python Pip 是 Python 的包管理器&#xff0c;它允许您轻松地安装和管理 Python 包和库。在 Ubuntu 22.04 上安装 Python Pip 是非常简单的。 本文将详细介绍如何在 Ubuntu 22.04 上安装 Python Pip&#xff0c;并为您提供逐步指南。 步骤 1&#xff1a;更新软件包列表 在安装…

C Primer Plus第八章编程练习答案

学完C语言之后&#xff0c;我就去阅读《C Primer Plus》这本经典的C语言书籍&#xff0c;对每一章的编程练习题都做了相关的解答&#xff0c;仅仅代表着我个人的解答思路&#xff0c;如有错误&#xff0c;请各位大佬帮忙点出&#xff01; 1.设计一个程序&#xff0c;统计在读到…