大数据Hive组件安装

news2025/4/25 6:44:56

组件版本

组件版本
Hadoop3.3.0
JDK1.8.0_241
Mysql5.7.25
Hive3.1.2

Hadoop集群服务分布

Node1Node2Node3
NameNode DataNode   DataNode
DataNode NodeManager    NodeManager
ResourceManagerSecondaryNameNode

安装前请确定Hadoop集群服务全部启动,不然后续测试时会报错node1:8020数据接口拒接链接! 

Mysql组件包

mysql-community-common-5.7.25-1.el7.x86_64.rpm
mysql-community-libs-5.7.25-1.el7.x86_64.rpm
mysql-community-libs-compat-5.7.25-1.el7.x86_64.rpm
mysql-community-client-5.7.25-1.el7.x86_64.rpm
mysql-community-server-5.7.25-1.el7.x86_64.rpm

Mysql和Hive都安装在Node1主节点上,且Mysql组件包安装顺序必须严格依照此表从上到下安装,各个组件包都属于相互依赖的关系,如不按照顺序安装可能出现安装失败等其他问题!

Hive安装

准备组件包Hive3.1.2

下载:Hive3.1.2

下载后上传至服务器/export/server目录下解压

解压:

tar -zxvf apache-hive-3.1.2-bin.tar.gz

添加Hive的环境变量

vim /etc/profile

添加以下内容: 

export HIVE_HOME=/export/server/apache-hive-3.1.2-bin
export PATH=$PATH:$HIVE_HOME/bin

完成后保存退出。

按ESC键,输入:wq回车退出

刷新环境变量

source /etc/profile

看到画红框的内容出现后即环境变量配置和刷新完成。

初始化元数据库(默认是derby数据库)

进入/export/server/apache-hive-3.1.2-bin目录下

cd /export/server/apache-hive-3.1.2-bin

执行初始化

bin/schematool -dbType derby -initSchema

报错解决:

原因:hadoop和hive的两个guava.jar版本不一致

解决:将hive目录下的低版本guava.jar更换成Hadoop下的高版本guava.jar即可

两个jar位置分别位于下面两个目录:

/export/servers/hive/lib/guava-19.0.jar 
/export/servers/hadoop-3.1.4/share/hadoop/common/lib/guava-27.0-jre.jar

进入hive/lib目录下删除掉旧版本的guava.jar。

cd /export/server/apache-hive-3.1.2-bin/lib

rm guava-19.0.jar

进入Hadoop/share/hadoop/common/lib目录下,将新版本的guava.jar复制到hive/lib目录下

cd /export/server/hadoop-3.3.0/share/hadoop/common/lib

复制到hive的lib目录下

cp guava-27.0-jre.jar /export/server/apache-hive-3.1.2-bin/lib/

完成,

再次执行初始化元数据库

 进入/export/server/apache-hive-3.1.2-bin目录下

cd /export/server/apache-hive-3.1.2-bin

执行初始化

bin/schematool -dbType derby -initSchema

测试:

成功,hive安装完成。

Mysql安装

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2163531.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【学习笔记】手写 Tomcat 四

目录 一、Read 方法返回 -1 的问题 二、JDBC 优化 1. 创建配置文件 2. 创建工具类 3. 简化 JDBC 的步骤 三、修改密码 优化返回数据 创建修改密码的页面 注意 测试 四、优化响应动态资源 1. 创建 LoginServlet 类 2. 把登录功能的代码放到 LoginServlet 类 3. 创…

企业新购买的设备需要做仪器校准吗?为什么新设备也要做检测?

企业在定制一批设备仪器到厂后,会需要对设备进行验货和接收,而这个环节很多人对于设备是否同时需要先做校准的问题犹豫不决,一些企业觉得新设备都是刚买的,做仪器校准没有必要,但是另一部分认为即便是新买的仪器也要先…

easyexcel常见问题分析

文章目录 一、读取数字多了很多小数位的精度问题 一、读取数字多了很多小数位的精度问题 浮点型转成BigDecimal的时候会出现精度问题,例如 这儿设置的实体类对象类型是String,默认用到的是StringNumberConverter转换器 2.1.4 版本 public class Strin…

葡萄城亮相2024全球产品经理大会,共探创新之旅

葡萄城亮相2024全球产品经理大会,共探创新之旅 9 月 20-21 日,由 CSDN 举办的“2024 全球产品经理大会”于北京盛大开幕,现场超 40 位互联网与科技产品领域专业人士发表主题演讲,1000 与会者齐聚一堂。 大会现场气氛热烈&#…

【LangChain系列】实战案例5:用LangChain实现灵活的Agents+RAG,该查时查,不该查时就别查

目前为止,我们实现的RAG练习中,答案都是全部来源于检索到的文本内容。而检索过程可能在某些情况下是不需要的。 如何优化这个过程,让我们的RAG程序在必要时才去检索,不必要时,直接使用大模型原有数据来回答呢&#xf…

Python酷玩之旅_如何在Centos8顺利安装Python最新版(3.12)

全文导览 前言Q:如何在Centos8顺利安装Python最新版一. 下载安装包1.1 wget1.2. 官网下载 二. 执行安装2.1. 检查环境2.2. 安装依赖2.3. 解压tgz包2.4. 编译2.5. 安装2.6. 设置环境变量2.6.1 编辑/etc/profile2.6.2 激活生效 三. 操作示例3.1. helloworld 结语 前言…

DevOps学习路线图

DevOps 是软件工程领域中的一种文化和实践方法,它将开发 (Dev) 和运维 (Ops) 相结合,从而在应用程序规划、开发、交付和运营中统一人员、流程和技术。 DevOps 支持以前孤立角色(如开发、IT 运营、质量工程和安全)之间的协调和协作…

【Elasticsearch】-实现图片向量相似检索

1、http请求方式 如果elasticsearch服务设置账号密码,则在请求的header中添加 Basic Auth 认证 请求方式:Post 请求地址:/index_name/_search 请求body:json格式 {"size": 10, //返回条数"min_score": 0.…

【10000字pandas数据可视化超全笔记整理】Numpy Pandas | 常用API介绍 | 缺失值处理 matplotlib数据可视化介绍

文章目录 Numpy 部分NumPy的数组类被称作ndarray,通常被称作数组。属性创建方法内置函数运算基本运算矩阵运算 Pandas部分总述Serise 对象创建属性方法运算 DataFrame属性索引操作添加删除插入列 保存读取文件保存读取 数据加载分组聚合语法格式: 基本绘图 数据组合…

【设计模式-迭代】

定义 迭代器模式(Iterator Pattern)是一种行为型设计模式,用于提供一种顺序访问集合对象元素的方式,而不暴露该对象的内部表示。通过迭代器,客户端可以在不需要了解集合实现的细节的情况下遍历集合中的元素。 UML图 …

Hi.Events —— 您的全方位活动管理与票务平台

大家好!今天给大家介绍一个超厉害的开源项目:Hi.Events,这是一个功能丰富的自托管活动管理和票务平台,无论是会议还是俱乐部活动,它都能帮你轻松搞定! 项目介绍 Hi.Events是一款功能丰富、自托管的开源活动…

用AI绘画年入百万?揭秘高效起始号与现变路径...

part.1 AI绘画的优势 AI绘画的魅力在于其高效和灵活 无论你是通过Midjourney还是Stable Diffusion,只需输入简单的提示词,再加上一些额外的控制调整,AI绘画就能快速生成各种创意内容。角色IP设计、游戏原画、3D场景甚至是天马行空的创意都…

服务器桌面监控录制到NVR

目录 一、硬盘录像机配置 二、配置VLC Play 三、加入NVR通道 四、实时画面 五、历史画面录像 有一天,客户提出一个问题,有一台服务器被很多人使用,成了共用服务器。共用的东西有个特点,就是人人都用,人人都不管,都认为自己只是偶尔用一下,管理维护不是自己的责任。…

Error: one input ui-file must be specified(问题已解决)

一、 项目场景问题描述 Error: one input ui-file must be specified pycharm IDE添加了外部工具。 QT Designer设计完成,生成界面ui文件, 3.运行pyuic5转换文件 方式一:选中ui文件 方式二:右击选中.ui文件。 报错:Error: o…

【xhs截流软件】爬取小红书关键词笔记下的筛选评论

用python开发的xhs采集工具【爬小红书搜索评论软件】,可用于引流截流等。 支持2种模式的评论采集: 根据关键词采集评论,爬取思路:笔记关键词->笔记链接->评论根据笔记链接采集评论,爬取思路:笔记链接…

k8s中,pod生命周期,初始化容器,容器探针,事件处理函数,理解其设计思路及作用

k8s中,为什么要设计pod 平台直接管理容器不是挺好的吗 为什么要以pod为单位进行管理, 然后把容器放在pod里面 那么有pod和没pod的区别是什么 也就是pod提供了什么作用 这个可以考虑从pod生命周期管理的角度去思考 如图,pod主容器在运行…

DataX实战:从MongoDB到MySQL的数据迁移--修改源码并测试打包

在现代数据驱动的业务环境中,数据迁移和集成是常见的需求。DataX,作为阿里云开源的数据集成工具,提供了强大的数据同步能力,支持多种数据源和目标端。本文将介绍如何使用DataX将数据从MongoDB迁移到MySQL。 环境准备 安装MongoDB…

从0新建一个微信小程序实现一个简单跳转

首先 1.从这里下载开发工具 https://developers.weixin.qq.com/miniprogram/dev/framework/quickstart/getstart.htm 2. 等下载完毕后 创建一个空白项目 在pages目录下右键创建一个page : testUI,这时候会生成四个文件 新建一个文件夹 testUI 给他们放一起 3.增加一个按钮 …

实战OpenCV之图像滤波

基础入门 图像滤波是数字图像处理中一种非常重要的技术,主要用于图像噪声去除、图像平滑、突出图像特征,或者进行图像风格的转换。它通过数学运算对图像中的像素值进行修改,以达到特定的处理目的。图像滤波可以分为两大类,分别为&…

matlab划分区域的等高线云图(代码)

出图结果如下: 代码如下,按需修改 clear;clc; numRows100; %数据区域,步长,步数 numCols100; ax-2;bx2; ay-2;by2; hx(bx-ax)/numCols; hy(by-ay)/numRows; XXCax:hx:bx; %坐标阵,data Y…