Hive-安装与配置（1）

news2024/11/25 0:26:34

🥇🥇【大数据学习记录篇】-持续更新中~🥇🥇

个人主页：beixi@
本文章收录于专栏（点击传送）：【大数据学习】

💓💓持续更新中，感谢各位前辈朋友们支持学习~💓💓

文章目录

    • 1.Hive环境介绍
    • 2.搭建环境准备
    • 3.建立Hive元数据库
    • 4.安装配置Hive

1.Hive环境介绍

Hive在Hadoop生态系统中运行，依赖Hadoop分布式文件系统（HDFS）和YARN资源管理器。它由以下几个主要组件组成：

  • 元数据存储：Hive使用关系型数据库（如MySQL、Derby等）来存储元数据，包括表的结构、分区信息、数据位置等。
  • Hive服务：Hive提供Hive CLI（命令行界面）和HiveServer2两种服务方式。Hive
  • CLI用于交互式查询和脚本执行，而HiveServer2允许通过JDBC或ODBC连接进行远程查询。
  • 查询执行引擎：Hive将HiveQL查询语句转换为MapReduce作业或Tez任务，并通过Hadoop集群执行这些作业。此外，Hive还支持LLAP（低延迟分析查询协议）引擎，用于加速查询执行。
  • 数据格式：Hive支持多种数据格式，包括文本、CSV、Parquet、ORC等。这些格式可以根据数据特性和查询需求进行选择。
    在这里插入图片描述

2.搭建环境准备

本次用到的环境有：
1)Oracle Linux 7.4
2)Hadoop2.7.4
3)Hive2.1.1
4)Mysql5.5.57
5)Java1.8.0_144

3.建立Hive元数据库

1.进入MySQL命令窗口

mysql

在这里插入图片描述

2.建立Hive元数据需要的MySQL下的数据库“hive”，并赋予相应权限

create database hive;

grant all privileges on *.* to 'root'@'master' identified by 'root';
grant all privileges on *.* to 'root'@'%' identified by 'root';
flush privileges;

在这里插入图片描述

3.查看数据库“hive”的权限

SELECT host,user,authentication_string,Grant_priv,Super_priv FROM mysql.user;

在这里插入图片描述

4.退出MySQL命令窗口

quit;

在这里插入图片描述

4.安装配置Hive

1.解压Hive压缩包至/opt目录下。

tar xf experiment/file/apache-hive-2.1.1-bin.tar.gz -C /opt/

ll /opt/

在这里插入图片描述

2.解压后的Hive压缩包apache-hive-2.1.1-bin更名为hive。

mv /opt/apache-hive-2.1.1-bin /opt/hive

ll /opt/

在这里插入图片描述

3.拷贝Hive需要的mysql依赖包mysql-connector-java-5.1.42.jar 至hive/lib目录下。

cp ~/experiment/file/mysql-connector-java-5.1.42.jar /opt/hive/lib/

ll /opt/hive/lib/mysql-*

在这里插入图片描述

4.打开配置Hive环境变量的文件profile。

vim /etc/profile

在这里插入图片描述

5.敲键盘“i”键，使profile处于可插入状态，配置Hive环境变量参数。

export HIVE_HOME=/opt/hive
export HIVE_CONF_DIR=/opt/hive/conf
export PATH=$HIVE_HOME/bin:$PATH

在这里插入图片描述

6.按“ESC”键，敲“:wq!”命令，按回车保存并退出profile文件。

:wq!

在这里插入图片描述

7.使profile文件配置生效。

source /etc/profile

在这里插入图片描述

8.查看hive的环境变量是否生效。

echo $PATH

在这里插入图片描述

9.进入Hive配置文件的目录。

cd /opt/hive/conf/

ll

在这里插入图片描述

10.生成hive-site.xml文件。

cp /opt/hive/conf/hive-default.xml.template /opt/hive/conf/hive-site.xml

ll

在这里插入图片描述

11.打开配置hive-site.xml文件。

vim /opt/hive/conf/hive-site.xml

12.删除hive-site.xml文件中标签与之间的所有内容。根据实际情况而删

22gg
5327dd

在这里插入图片描述

13.删除hive-site.xml文件指定内容后的文件全部内容如下。
在这里插入图片描述

14.通过键盘敲入”i”，使更改后的hive-site.xml文件处于可编辑状态，即可在文件下方看到“INSERT”或“插入”的字样。
在这里插入图片描述

15.将需要配置的参数敲入或者去已经配置好的文件里将配置内容（即Code001的所有内容）全部复制到hive-site.xml文件中与标签之间，粘贴的所有内容如下：

<property>
	<name>hive.metastore.warehouse.dir</name>
	<value>/data/hive/warehouse</value>
</property>
<property>
	<name>hive.metastore.local</name>
	<value>true</value>
</property>
<property>
	<name>javax.jdo.option.ConnectionURL</name>
	<value>jdbc:mysql://master/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
</property>
<property>
	<name>javax.jdo.option.ConnectionDriverName</name>
	<value>com.mysql.jdbc.Driver</value>
</property>
<property>
	<name>javax.jdo.option.ConnectionUserName</name>
	<value>root</value>
</property>
<property>
	<name>javax.jdo.option.ConnectionPassword</name>
	<value>root</value>
</property>
<property>
	<name>hive.metastore.schema.verification</name>
	<value>false</value>
</property>

16.注意粘贴（点击文档的空白处，点击鼠标右键，即可看到“粘贴”或“Paste”选项，选中它完成粘贴）的位置位于标签与之间。
在这里插入图片描述

17.粘贴后的hive-site.xml文件如下所示，按ESC键，录入“:wq!”退出并保存文件。

:wq!

在这里插入图片描述

至此Hive的安装与配置就结束了，如果本篇文章对你有帮助记得点赞收藏+关注~

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/949710.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

小白到运维工程师自学之路 第八十集 （Jumpserver堡垒机管理）2

小白到运维工程师自学之路 第八十集 （Jumpserver堡垒机管理）2

5、登录普通用户进行测试 这里的操作和在linux系统中的终端操作一样 在Xshell中登录 创建一个普通文件 在web终端中查看 五、审计台 在审计台中可以看到服务器的各种详细操作 在这里可以看到哪个用户在哪个时间对服务器具体使用了什么命令&#xff0c;还可以看到录频回放。 …
阅读更多...
提升开发能力的低代码思路

提升开发能力的低代码思路

一、低代码理念 在现代软件开发中&#xff0c;低代码开发平台备受关注。那么&#xff0c;什么是低代码开发平台呢&#xff1f;简单来说&#xff0c;它是一种能够提供丰富的图形化用户界面&#xff0c;让开发者通过拖拽组件和模型就能构建应用的开发环境。与传统开发方式相比&am…
阅读更多...
对负载均衡的全面理解

对负载均衡的全面理解

title: 对负载均衡的全面理解 date: 2021-07-10 21:41:24 tags: TCP/IP 对负载均衡服务(LBS)大名入行不多久就一直听闻&#xff0c;后来的工作中&#xff0c;也了解到 软件负载均衡器&#xff0c;如被合入Linux内核的章文嵩的LVS&#xff0c;还有以应用程序形式出现的HAProxy、…
阅读更多...
设计模式--装饰者模式（Decorator Pattern）

设计模式--装饰者模式（Decorator Pattern）

一、什么是装饰者模式&#xff08;Decorator Pattern&#xff09; 装饰者模式&#xff08;Decorator Pattern&#xff09;是一种结构型设计模式&#xff0c;它允许你在不修改现有对象的情况下&#xff0c;动态地将新功能附加到对象上。这种模式通过创建一个包装类&#xff0c;…
阅读更多...
hosts文件位置在哪里,教你hosts文件位置在哪里

hosts文件位置在哪里,教你hosts文件位置在哪里

Hosts是一个没有扩展名的系统文件&#xff0c;其基本作用就是将一些常用的网址域名与其对应的IP地址建立一个关联"数据库",当用户在浏览器中输入一个需要登录的网址时&#xff0c;系统会首先自动从Hosts文件中寻找对应的IP地址&#xff0c;一旦找到&#xff0c;系统会…
阅读更多...
(动态规划) 剑指 Offer 66. 构建乘积数组——【Leetcode每日一题】

(动态规划) 剑指 Offer 66. 构建乘积数组——【Leetcode每日一题】

❓ 剑指 Offer 66. 构建乘积数组 难度&#xff1a;中等 给定一个数组 A[0,1,…,n-1]&#xff0c;请构建一个数组 B[0,1,…,n-1]&#xff0c;其中 B[i] 的值是数组 A 中除了下标 i 以外的元素的积, 即 B[i]A[0]A[1]…A[i-1]A[i1]…A[n-1]。不能使用除法。 示例: 输入: [1,2,3…
阅读更多...
【数学建模】-- 模糊综合评价

【数学建模】-- 模糊综合评价

模糊综合评价&#xff08;Fuzzy Comprehensive Evaluation&#xff09;是一种用于处理不确定性和模糊性信息的决策分析方法。它通常用于解决复杂的多指标决策问题&#xff0c;其中各指标之间可能存在交叉影响和模糊性的情况。模糊综合评价通过将不确定性和模糊性量化&#xff0…
阅读更多...
程序员的福音，高效取【淘宝 1688 京东】商品详情页面数据，API 接口封装系列

程序员的福音，高效取【淘宝 1688 京东】商品详情页面数据，API 接口封装系列

业务场景&#xff1a;作为全球最大的 B2C 电子商务平台之一&#xff0c;淘宝天猫平台提供了丰富的商品资源&#xff0c;吸引了大量的全球买家和卖家。为了方便开发者接入淘宝天猫平台&#xff0c;淘宝天猫平台提供了丰富的 API 接口&#xff0c;其中历史价格接口是非常重要的一…
阅读更多...
ATA-2081高压放大器的电子实验案例（案例合集）

ATA-2081高压放大器的电子实验案例（案例合集）

ATA-2081是一款理想的可放大交直流信号的单通道高压放大器。最大输出800Vp-p(400Vp)高压&#xff0c;可以驱动高压型负载。凭借其优异的指标参数受到不少电子工程师的喜欢&#xff0c;其在电子实验中的应用也非常频繁&#xff0c;下面为大家整理出ATA-2081高压放大器的应用案例…
阅读更多...
Java实现根据商品ID获取当当商品详情数据，当当商品详情数据接口，当当网API接口封装方法

Java实现根据商品ID获取当当商品详情数据，当当商品详情数据接口，当当网API接口封装方法

要通过当当网的API获取商品详情数据&#xff0c;您可以使用当当开放平台提供的接口来实现。以下是一种使用Java编程语言实现的示例&#xff0c;展示如何通过当当开放平台API获取商品详情属性数据接口&#xff1a; 首先&#xff0c;确保您已注册成为当当网开放平台的开发者&…
阅读更多...
css中文本阴影特效

css中文本阴影特效

文字颜色渐变 .text-clip{color:transparent;font-size: 40px;font-weight: bold;background: linear-gradient(45deg, rgba(0,173,181,1) 0%, rgba(0,173,181,.4) 100%);-webkit-background-clip: text; } 文字模糊 .text-blurry{text-align: center;color: transparent;text-…
阅读更多...
Qt 6.5.2连接MySQL及测试代码（附驱动文件）

Qt 6.5.2连接MySQL及测试代码（附驱动文件）

版本&#xff1a;Windows_64位&#xff0c;Qt 6.5.2&#xff0c;MySQL 8.0 一、配置驱动文件&#xff08;3步搞定&#xff01;&#xff09; 现在Qt6版本不提供MySQL的驱动&#xff0c;而且也没有pro项目让你生成驱动的dll文件&#xff0c;所以只要你使用Qt6版本就需要手动去生…
阅读更多...
gitlab-rake gitlab:backup:create 执行报错 Errno::ENOSPC: No space left on device

gitlab-rake gitlab:backup:create 执行报错 Errno::ENOSPC: No space left on device

gitlab仓库备份执行 gitlab-rake gitlab:backup:create报错如下&#xff1a; 问题分析&#xff1a;存储备份的空间满 解决方法&#xff1a; 方法1&#xff1a;清理存放路径&#xff0c;删除不需要文件&#xff0c;释放空间。 方法2&#xff1a;创建一个根目录的挂载点&#x…
阅读更多...
地图下钻，接口https访问报错403

地图下钻，接口https访问报错403

public 中的index.html中添加
阅读更多...
vr智慧党建主题展厅赋予企业数字化内涵

vr智慧党建主题展厅赋予企业数字化内涵

现如今&#xff0c;VR全景技术的发展让我们动动手指就能在线上参观博物馆、纪念馆&#xff0c;不仅不用受时间和空间的限制&#xff0c;还能拥有身临其境般的体验&#xff0c;使得我们足不出户就能随时随地学习、传承红色文化。 很多党建展厅都是比较传统的&#xff0c;没有运用…
阅读更多...
Redis——》如何评估锁过期时间

Redis——》如何评估锁过期时间

推荐链接&#xff1a; 总结——》【Java】 总结——》【Mysql】 总结——》【Redis】 总结——》【Kafka】 总结——》【Spring】 总结——》【SpringBoot】 总结——》【MyBatis、MyBatis-Plus】 总结——》【Linux】 总结——》【MongoD…
阅读更多...
Leetcode17电话号码的组合

Leetcode17电话号码的组合

思路&#xff1a;用字典的形式保存号码的映射&#xff0c;实际组合是前一个数字串的组合加上后面一个数字的所有可能组合 answer_dict{2:[a,b,c],3:[d,e,f],4:[g,h,i],5:[j,k,l],6:[m,n,o],7:[p,q,r,s],8:[t,u,v],9:[w,x,y,z]} class Solution:def letterCombinations(self, d…
阅读更多...
大集合按照指定长度进行分割成多个小集合，用于批量多次处理数据

大集合按照指定长度进行分割成多个小集合，用于批量多次处理数据

&#x1f4da;目录 拆分案例拆分的核心代码 通常我们对集合的更新或者保存都需要用集合来承载通过插入的效率&#xff0c;但是这个会遇到一个问题就是你不知道那天那个集合的数量可能就超了&#xff0c;虽然我们连接数据库进行批量提交会在配置上配置allowMultiQueriestrue,但是…
阅读更多...
chain of thought (思维链， cot)

chain of thought (思维链， cot)

定义 思维链 (Chain-of-thought&#xff0c;CoT) 的概念是在 Google 的论文 "Chain-of-Thought Prompting Elicits Reasoning in Large Language Models" 中被首次提出。思维链&#xff08;CoT&#xff09;是一种改进的提示策略&#xff0c;用于提高 LLM 在复杂推理…
阅读更多...
c++ 面试题（2）--STL ，新特性

c++ 面试题（2）--STL ，新特性

目录 1 STL 1 请说说 STL 的基本组成部分 2 请说说 STL 中常见的容器&#xff0c;并介绍一下实现原理 3 说说 STL 中 map hashtable deque list 的实现原理 4 请你来介绍一下 STL 的空间配置器&#xff08;allocator&#xff09; 6 迭代器用过吗&#xff1f;什么时候会失…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023