全国职业院校技能大赛(大数据赛项)-平台搭建hive笔记

news2024/9/22 2:32:45

        在大数据时代,数据量呈爆炸性增长,传统的数据处理工具已难以满足需求。Hive作为一个开源的数据仓库工具,能够处理大规模数据集,提供了强大的数据查询和分析能力,是大数据学习中的关键工具。在全国职业院校技能大赛(大数据技术与应用赛项)中的平台搭建模块,hive的搭建也是经常考察的问题,今天大家随着小编一起来看一看如何才能避开所有坑,在CentOS7系统中完成Hive的搭建工作,帮助大家快速有效的备赛!!

        首先因为hive是需要依赖Hadoop集群环境和MySQL的,所以大家先保证这两个是已经搭建完成的再来进行hive的搭建。以2023年国赛的软件版本为例,Hive使用的为3.1.3。而且小编也会给大家贴心的写出部分命令的解释,方便大家学习。

一、解压Hive安装包到指定目录
tar -zxvf /opt/software/apache-hive-3.1.2-bin.tar.gz -C /opt/module
  • tar:这是执行打包和解包操作的命令。

  • -zxvf:这是tar命令的选项,用于指定tar命令的行为。

    • z:表示通过gzip进行压缩或解压缩。这意味着tar命令将处理.tar.gz.tgz格式的压缩包。
    • x:表示解压缩。这是与打包(c选项)相对的操作,用于从压缩包中提取文件。
    • v:表示在解压缩过程中显示详细信息,即列出正在被解压的文件。
    • f:表示接下来要指定压缩包的文件名。这个选项告诉tar命令,接下来的参数是压缩包的文件名,而不是要打包或解包的文件列表。
  • -C /opt/module:这个选项(注意是大写的C,不是小写的c)用于指定解压缩后文件的目标目录。-C选项后面跟着的是目标目录的路径。
二、文件夹重命名

        我们先进入到/opt/module文件夹下,然后执行下面的命令,这样做是为了后续配置变量等方便一点,当然了,大家也可以不改这一步。

mv apache-hive-3.1.2-bin hive
 三、在hive的lib目录下放入MySQL驱动包
mv mysql-connector-java-5.0.8.jar hive/lib
四、配置环境变量
vim /etc/profile

        随后在文件末尾处添加:

# HIVE_HOME
export HIVE_HOME=/opt/module/hive
export PATH=$PATH:$HIVE_HOME/bin

        启动环境变量 

source /etc/profile
 五、配置主要文件

        首先进入到hive的conf目录下

cd /opt/module/hive/conf/

         将副本拷贝成一份文件,这一步是为了大家写错之后有原本可以还原

cp hive-env.sh.template hive-env.sh

         修改hive-env.sh环境的配置,在该文件末尾添加:

export JAVA_HOME=/opt/module/jdk
export HADOOP_HOME=/opt/module/hadoop
export HIVE_HOME=/opt/module/hive
export HIVE_CONF_DIR=$HIVE_HOME/conf

        将副本拷贝成一份文件:

cp hive-default.xml.template hive-site.xml

        修改以下配置:

<property>
	<name>javax.jdo.option.ConnectionURL</name>
	<value>jdbc:mysql://你的虚拟机IP:3306/hivedb?createDatabaseIfNotExist=true&amp;useSSL=false</value>
	<description> localhost虚拟机IP地址,hivedb数据库的名字(随意)createDatabaseIfNotExist 如果数据库不存在自动创建</description>
</property>
<!--配置数据库驱动-->
<property>
	<name>javax.jdo.option.ConnectionDriverName</name>
	<value>com.mysql.jdbc.Driver</value>
</property>
<!--配置数据库用户名-->
<property>
	<name>javax.jdo.option.ConnectionUserName</name>
	<value>你的用户(一般为root)</value>
</property>
<!--配置MySQL数据库root的密码-->
<property>
	<name>javax.jdo.option.ConnectionPassword</name>
	<value>你的密码</value>
</property>
 六、schema格式化
schematool -dbType mysql -initSchema

        大家执行这个命令之后会报很多种错误,但是同学们别急,小编尽量贴出来所有错误,首先如果大家遇到这个错误:

        这个错误是由于hadoop3.x中的这个目录下“/opt/module/hadoop/share/hadoop/common/lib”的“guava-27.0-jre.jar”包与我们hive目录lib目录下“guava-19.0.jar”的版本冲突了,解决方法很简单,我们将hive目录下的jar包删除,随后将hadoop的这个包复制到hive的lib目录下即可了。

rm -rf /opt/module/hive/lib/guava-19.0.jar
cp /opt/module/hadoop/share/hadoop/common/lib/guava-27.0-jre.jar /opt/module/hive/lib/

        随后再次执行初始化命令,正当我们志得意满的时候,发现他又又报错了

        真是头大,但是还好报错写的很清楚,告诉我们是hive-size.sh文件中第3215行出现错误了,那我们就看看怎么个事。

        大家可以看到,我的3215行明明是一个<description>标签,这个怎么会报错呢,其实眼尖的同学能看出来那个"for&#8"的颜色不太对啊,为啥他那么独特,其实这是因为他是一个特殊字符,咱们最好还是将这一整段都删除掉比较保险。删除整个<description>标签的内容之后,我们再次执行初始化命令!

        小编这里初始化成功了,当我以为万事大吉之后,他又又又报错了…………(其实我知道他肯定会报错的,但是为了照顾同学们,嘿嘿……)

        

        咱们就一步一步来,这个报错大家能看到“URI:${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D”这一串吧,其实问题就出在这里,其实这里需要大家在hive-site.xml配置文件中需要配置system:java.io.tmpdir属性。但是我可不管三七二十一,我不配,咱们直接查找把所有“system:”删除掉,不是报错吗,我全删了看你还错不错了!!(在命令模式下按n可以进行下一个的查找)

        直到全部删除即可,我们保持退出,随后再次启动hive

        终于进来了,555555~~~,但是我告诉大家,除了我上面说的这些错误,还有很多复杂的问题大家在平时的练习中还会遇到,特别有一个大家应该也发现了,就是初始化的时候打印了大量的空白,这样在比赛中粘贴答案是肯定扣分的,这个问题其实是hive在初始化的时候打印了大量日志,但是咱们看不到,所以就是空白,大家研究一下怎么关闭日志就行,很简单的哦,大家在准备省赛或者国赛,有什么问题都可以关注这个账号私信哦。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2153914.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【图像检索】基于Gabor特征的图像检索,matlab实现

博主简介&#xff1a;matlab图像代码项目合作&#xff08;扣扣&#xff1a;3249726188&#xff09; ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ 本次案例是基于Gabor特征的图像检索&#xff0c;用matlab实现。 一、案例背景和算法介绍 这次博…

GPT-4o在matlab编程中性能较好,与智谱清言相比

边标签由矩阵给出 s [1 2 3 3 3 3 4 5 6 7 8 9 9 9 10]; t [7 6 1 5 6 8 2 4 4 3 7 1 6 8 2]; G graph(s,t); plot(G) ------------------- GPT-4o给出的代码可用&#xff0c; clc;clear; % 定义边的起点和终点 s [1 2 3 3 3 3 4 5 6 7 8 9 9 9 10]; t [7 6 1 5 6 8 2 …

您可能一直在寻找的 10 个非常有用的前端库

文章目录 前言正文1.radash2.dayjs3.driver4.formkit/drag-and-drop5.logicflow6.ProgressBar7.tesseract8.zxcvbn9.sunshine-track10.lottie 前言 前端开发中&#xff0c;总有一些重复性的工作让我们疲于奔命。为了提高开发效率&#xff0c;我们精心挑选了10个功能强大、易于…

【油猴脚本】00010 案例 Tampermonkey油猴脚本,动态渲染表格-添加提示信息框,HTML+Css+JavaScript编写

前言&#xff1a;哈喽&#xff0c;大家好&#xff0c;今天给大家分享一篇文章&#xff01;并提供具体代码帮助大家深入理解&#xff0c;彻底掌握&#xff01;创作不易&#xff0c;如果能帮助到大家或者给大家一些灵感和启发&#xff0c;欢迎收藏关注哦 &#x1f495; 目录 【油…

Ubuntu 22.04 源码下载、编译

Kernel/BuildYourOwnKernel - Ubuntu Wikihttps://wiki.ubuntu.com/Kernel/BuildYourOwnKernel 一、查询当前系统内核版本 rootubuntu22:~# uname -r 5.15.0-118-generic 二、查询本地软件包数据库中的内核源码信息 rootubuntu22:~# apt search linux-source Sorting... Do…

Unity实现原始的发射子弹效果

1 创建一个炮塔&#xff0c;按下空格-坦克会发射一个小球2.小球会掉在地上滚下来-添加组件3 间隔几秒后自动销毁程序逻辑&#xff1a;1.在场景中创建一个炮塔\子弹拿到代码里的变量里程序逻辑&#xff1a; 2.if语句检测用户有没有按下空格程序逻辑&#xff1a; 3.在炮塔坐标的位…

5. 数字证书与公钥基础设施

5. 数字证书与公钥基础设施 (1) PKI 的定义、组成及应用 PKI(Public Key Infrastructure,公钥基础设施) 是一个使用公钥技术来提供安全服务的框架。它定义了如何管理和维护公钥,以及如何通过证书来验证公钥的真实性。PKI的核心组成部分包括: 证书颁发机构(CA, Certifica…

(done) 声音信号处理基础知识(4) (Understanding Audio Signals for ML)

来源&#xff1a;https://www.youtube.com/watch?vdaB9naGBVv4 模拟信号特点如下 时域连续(x轴) 振幅连续(y轴) 如下是模拟信号的一个例子&#xff1a; 数字信号特点如下&#xff1a; 一个离散值序列 数据点的值域是一系列有限的值 ADC&#xff1a;模拟信号到数字信号的…

Elionix 电子束曝光系统

Elionix 电子束曝光系统 - 上海纳腾仪器有限公司 -

Python包、模块、库辨析

目录 1 模块的基础介绍 2 包的概念解析 3 库的定义与作用 4 区分三者 5 实例 __init__.py addition.py multiplication.py main_scipt 1 模块的基础介绍 模块是 Python 编程的基本组成部分之一&#xff0c;它是单个文件 &#xff0c;包含 Python 代码&#xff0c;可以定…

GB28181协议接入SVMSPro平台

国标28181协议接入SVMSPro平台 步骤一&#xff1a;海康摄像机28181配置&#xff1b;登录海康摄像机网页进配置选项&#xff0c;左边选网络-高级设置-平台接入-类型选28181 勾选启用&#xff0c;28181协议版本选最新2016 SIP服务器ID:默认20位 34020000002000000001,也可在服务端…

Linux系统网络诊断工具MTR使用方法

我们一般做linux系统服务器测评的时候&#xff0c;基本都会进行网速方面的测试&#xff0c;这方面的脚本工具啥的有很多&#xff0c;其中MTR是Linux平台上一款非常好用的网络诊断工具&#xff0c;集成了traceroute、ping、nslookup的功能&#xff0c;用于诊断网络状态非常有用。…

胤娲科技:谷歌DeepMind祭出蛋白质设计新AI——癌症治疗迎来曙光

在科技的浩瀚星空中&#xff0c;DeepMind的“阿尔法”家族总是能带来令人瞩目的璀璨光芒。这一次&#xff0c;它们再次以惊人的姿态&#xff0c; 将AI的触角深入到了生命的微观世界——蛋白质设计领域&#xff0c;为我们描绘了一幅未来医疗的宏伟蓝图。 想象一下&#xff0c;一…

思通数科开源产品:免费的AI视频监控卫士安装指南

准备运行环境&#xff1a; 确保您的服务器或计算机安装了Ubuntu 18.04 LTS操作系统。 按照产品要求&#xff0c;安装以下软件&#xff1a; - Python 3.9 - Java JDK 1.8 - MySQL 5.5 - Redis 2.7 - Elasticsearch 8.14 - FFmpeg 4.1.1 - RabbitMQ 3.13.2 - Minio &#xff08;…

网络丢包定位记录(三)

网络IP层丢包 接口ip地址配置丢包 1. 本机服务不通&#xff0c;检查lo接口有没有配置地址是127.0.0.1&#xff1b; 2 .本机接收失败&#xff0c; 查看local路由表&#xff1a;ip r show table local|grep 子机ip地址&#xff1b;这种丢包一般会出现在多IP场景&#xff0c;子…

robomimic应用教程(一)——模型训练

Robomimic使用集中式配置系统来指定所有级别的(超)参数 本文介绍了配置&#xff08;推荐&#xff09;和启动训练运行的两种方法 目录 一、使用config json&#xff08;推荐&#xff09; 二、在代码中构造一个配置对象 三、查看运行结果 1. 实验结果会存在一个固定文件夹中…

S-Clustr-Simple 飞机大战:骇入现实的建筑灯光游戏

项目地址:https://github.com/MartinxMax/S-Clustr/releases Video https://www.youtube.com/watch?vr3JIZY1olro 飞机大战 这是一个影子集群的游戏插件&#xff0c;可以将游戏画面映射到现实的设备&#xff0c;允许恶意控制来完成游戏。亦或者设备部署在某建筑物中,来控制…

超实用的 Typora 插件

&#x1f33c;&#x1f4da;Typora 是一款高效、易用且跨平台的 Markdown 编辑器和阅读器&#xff0c;其具有小巧、快速、实时预览等特点&#xff0c;非常受大家的欢迎。今天给大家推荐一款如虎添翼的 Typora 插件(Typora Plugin)&#xff0c;它可以通过插件增强 Typora 的功能…

C++入门(03)萌新问题多(二)

文章目录 1. VS2022 控制台输出中文时&#xff0c;变成了一堆“&#xff1f;”1.1 字体、语言设置1.2 在程序中指定控制台编码1.3 修改注册表&#xff08;只能说试试吧&#xff09; 1. VS2022 控制台输出中文时&#xff0c;变成了一堆“&#xff1f;” 问题如下&#xff0c;Vi…

解决uniapp开发的app,手机预览,上下滑动页面,页面出现拉伸,抖动的效果问题,

在pages.json文件里“globalStyle”下面的"app-plus"里加入"bounce": "none"即可 "app-plus": { "bounce": "none", //关闭窗口回弹效果 }