安装Hive

news2024/12/23 17:15:26

安装Hive

准备

安装Java环境：Hive需要Java环境支持，所以需要先安装Java。安装文档：http://t.csdn.cn/deBJu

安装MySQL数据库。http://t.csdn.cn/d24pN

下载Hive

下载Hive的二进制文件。

链接：https://pan.baidu.com/s/1fdg76k9kvd896pMpfYEG5w
提取码：8888

解压Hive

将下载的Hive压缩包解压到指定目录。

[root@master ~]# cd /usr/local
[root@master local]# ll
总用量 279464
-rw-r--r--.  1 root  root  286170958 6月   7 11:18 apache-hive-2.3.9-bin.tar.gz
drwxr-xr-x. 11  1000  1000       272 5月  25 08:49 hadoop-3.3.1
drwxr-xr-x.  8 10143 10143       273 4月   8 2021 jdk1.8.0_291

# 解压
[root@master local]# tar -zxvf apache-hive-2.3.9-bin.tar.gz
[root@master local]# ll
总用量 279464
drwxr-xr-x. 10 root  root        184 6月   7 11:22 apache-hive-2.3.9-bin
-rw-r--r--.  1 root  root  286170958 6月   7 11:18 apache-hive-2.3.9-bin.tar.gz
drwxr-xr-x. 11  1000  1000       272 5月  25 08:49 hadoop-3.3.1
drwxr-xr-x.  8 10143 10143       273 4月   8 2021 jdk1.8.0_291

配置Hive环境变量

将Hive的bin目录添加到系统环境变量中。

[root@master local]# vi /etc/profile
# Hive
export HIVE_HOME=/usr/local/apache-hive-2.3.9-bin
export PATH=$PATH:$HIVE_HOME/bin

[root@master local]# source /etc/profile

配置Hive配置文件

[root@master conf]# vi hive-env.sh.template
HADOOP_HOME=$HADOOP_HOME
export HIVE_CONF_DIR=$HIVE_HOME/conf

配置hive-config.sh

[root@master ~]# cd /usr/local/apache-hive-2.3.9-bin/bin
[root@master bin]# vi hive-config.sh
# 配置hive
export JAVA_HOME=/usr/local/jdk1.8.0_291
export HIVE_HOME=/usr/local/apache-hive-2.3.9-bin
export HADOOP_HOME=/usr/local/hadoop-3.3.1
export HIVE_CONF_DIR=/usr/local/apache-hive-2.3.9-bin/conf

拷贝Hive配置文件

[root@master ~]# cd /usr/local/apache-hive-2.3.9-bin/conf/
[root@master conf]# cp hive-default.xml.template hive-site.xml

配置hive-site.xml

[root@master conf]# vi hive-site.xml

修改Hive的配置文件hive-site.xml，设置Hive的元数据存储方式、Hadoop的配置文件路径等。

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive?useUnicode=true&amp;characterEncoding=utf8&amp;useSSL=false&amp;serverTimezone=UTC</value>
    <description>MYSQL连接协议</description>
</property>
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>JDBC连接驱动</description>
</property>
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
    <description>用户名</description>
</property>
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
    <description>密码</description>
    </property>
<property>
    <name>datanucleus.schema.autoCreatAll</name>
    <value>true</value>
    <description>自动更新数据库</description>
</property>
<property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
</property>
<property>
    <name>hive.exec.local.scratchdir</name>
    <value>/usr/local/apache-hive-2.3.9-bin/tmp/${user.name}</value>
    <description>Local scratch space for Hive jobs</description>
</property>
<property>
    <name>system:java.io.tmpdir</name>
    <value>/usr/local/apache-hive-2.3.9-bin/iotmp</value>
</property>
<property>
    <name>hive.downloaded.resources.dir</name>
    <value>/usr/local/apache-hive-2.3.9-bin/tmp/${hive.session.id}_resources</value>
    <description>Temporary local directory for added resources in the remote file system.</description>
</property>
<property>
    <name>hive.querylog.location</name>
    <value>/usr/local/apache-hive-2.3.9-bin/tmp/${system:user.name}</value>
    <description>Location of Hive run time structured log file</description>
</property>
<property>
    <name>hive.server2.logging.operation.log.location</name>
    <value>/usr/local/apache-hive-2.3.9-bin/tmp/${system:user.name}/operation_logs</value>
    <description>Top level directory where operation logs are stored if logging functionality is enabled</description>
</property>
<property>
    <name>hive.metastore.db.type</name>
    <value>mysql</value>
</property>
<property>
    <name>hive.cli.print.current.db</name>
    <value>true</value>
<description>Whether to include the current database in the Hive prompt.</description>
</property>

<property>
    <name>hive.cli.print.header</name>
    <value>true</value>
    <description>Whether to print the names of the columns in query output.</description>
</property>

将mysq-comnector-java-5.1.32.jar驱动包上传至bin目录下

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Waog7K8k-1686895673588)(E:\Java笔记\大数据\Hadoop\Hive\安装Hive\安装Hive.assets\image-20230616140723463.png)]

初始化元数据库

[root@master ~]# schematool -dbType mysql -initSchema
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/local/apache-hive-2.3.9-bin/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/local/hadoop-3.3.1/share/hadoop/common/lib/slf4j-log4j12-1.7.30.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Metastore connection URL:        jdbc:mysql://localhost:3306/hive?useUnicode=true&characterEncoding=utf8&useSSL=false&serverTimezone=UTC
Metastore Connection Driver :    com.mysql.jdbc.Driver
Metastore connection User:       root
Starting metastore schema initialization to 2.3.0
Initialization script hive-schema-2.3.0.mysql.sql
Initialization script completed
schemaTool completed

启动Hive

在命令行中输入hive命令，启动Hive。

[root@master conf]# hdfs namenode -format
[root@master conf]# start-dfs.sh
[root@master conf]# start-yarn.sh
[root@master conf]# hive
which: no hbase in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/usr/local/jdk1.8.0_291/bin:/usr/local/jdk1.8.0_291/jre/bin:/usr/local/hadoop-3.3.1/bin:/usr/local/hadoop-3.3.1/sbin:/root/bin:/usr/local/jdk1.8.0_291/bin:/usr/local/jdk1.8.0_291/jre/bin:/usr/local/hadoop-3.3.1/bin:/usr/local/hadoop-3.3.1/sbin:/usr/local/apache-hive-2.3.9-bin/bin)
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/local/apache-hive-2.3.9-bin/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/local/hadoop-3.3.1/share/hadoop/common/lib/slf4j-log4j12-1.7.30.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]

Logging initialized using configuration in jar:file:/usr/local/apache-hive-2.3.9-bin/lib/hive-common-2.3.9.jar!/hive-log4j2.properties Async: true
Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
hive>

测试Hive：

在Hive命令行中输入一些Hive查询语句，测试Hive是否正常工作。

# 查看数据库
hive (default)> show databases;
OK
database_name
default
Time taken: 6.772 seconds, Fetched: 1 row(s)
# 创建数据表
hive (default)> create table student(
              > id int
              > );
OK
Time taken: 1.294 seconds
# 查看数据表
hive (default)> show tables;
OK
tab_name
student
Time taken: 0.06 seconds, Fetched: 1 row(s)

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/653030.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

管理类联考——英语二——技巧篇——写作——书信作文——经典方法论

管理类联考——英语二——技巧篇——写作——书信作文——经典方法论

第一节 书信作文谋篇布局 考研英语从2005年开始考查书信作文&#xff0c;迄今为止共考查过几十次。书信作文考查的信件种类繁多&#xff0c;其中建议信是考查最为频繁的信件类型。从考查内容来看&#xff0c;校园学习生活、职业发展、民生热点成为重点考查对象&#xff0c;这一…
阅读更多...
hadoop 相关环境搭建

hadoop 相关环境搭建

21.Windows下安装Hadoop&#xff1b; Hive MySQL版_hadoop hive windows安装_学无止境的大象的博客-CSDN博客 https://www.cnblogs.com/liugp/p/16244600.html 备注。因为beeline一直报错&#xff0c;最有一怒之下把hive的lib下所有jar都拷贝到hadoop的share\hadoop\common\lib…
阅读更多...
2023 年 5 大机器人趋势

2023 年 5 大机器人趋势

原创 | 文 BFT机器人 国际机器人联合会报告 法兰克福&#xff0c;2023 年 2 月 16 日——全球操作机器人的存量创下约 350 万台的新纪录——安装价值估计达到 157 亿美元。国际机器人联合会分析了 2023 年影响机器人技术和自动化的 5 大趋势。 2023 年 5 大机器人趋势 © 国…
阅读更多...
2000-2021年全国1km分辨率的逐日PM10栅格数据

2000-2021年全国1km分辨率的逐日PM10栅格数据

空气质量数据是在我们日常研究中经常使用的数据&#xff01;之前我们分享了来自于Zendo平台的1km分辨率的PM2.5栅格数据&#xff08;可查看之前的文章获悉详情&#xff09;&#xff1a; 2000-2021年全国1km分辨率的逐日PM2.5栅格数据 2000-2021年全国1km分辨率的逐月PM2.5栅格…
阅读更多...
双功能螯合剂Me-Tetrazine PEG7 NOTA，应用于生物和材料科学的研究中

双功能螯合剂Me-Tetrazine PEG7 NOTA，应用于生物和材料科学的研究中

文章关键词&#xff1a;双功能螯合剂&#xff0c;大环化合物 MeTz-PEG7-NOTA&#xff0c;NOTA PEG7 Me-Tetrazine&#xff0c;甲基四嗪-PEG7-NOTA &#xff08;文章编辑来源于&#xff1a;西安凯新生物科技有限公司小编WMJ&#xff09;​ 一、Product structure&#xff1a;…
阅读更多...
组合逻辑毛刺消除

组合逻辑毛刺消除

目录 组合逻辑毛刺消除 1、简介 2、实验任务 3、程序设计 1、组合逻辑输出加寄存器 2、信号同步法 &#xff08;1&#xff09;信号延时同步法 &#xff08;2&#xff09;状态机控制 3、格雷码计数器 4、仿真验证 组合逻辑毛刺消除 信号在 IC/FPGA 器件中通过逻辑单元…
阅读更多...
管理类联考——英语——翻译篇——新题型——经典方法论

管理类联考——英语——翻译篇——新题型——经典方法论

第一节 英语(一)翻译 根据考试大纲&#xff0c;考研英语(一R翻译部分主要考查考生准确理解概念或结构较复杂的英语文字材料的能力。具体考查方式是要求考生阅读一篇约400词的文章&#xff0c;并将其中5个画线部分(约150词)译成汉语,要求译文准确、完整、通顺。 可以看出&#…
阅读更多...
js数组高阶函数——filter()方法

js数组高阶函数——filter()方法

js数组高阶函数——filter方法 filter&#xff08;&#xff09;方法⭐⭐⭐例1⭐⭐⭐例2⭐⭐⭐例3⭐⭐⭐例4⭐⭐⭐例5 filter&#xff08;&#xff09;方法 ⭐一般来说&#xff0c;filter() 方法用于过滤数组中的元素&#xff0c;并返回一个新数组。 语法&#xff1a; array.f…
阅读更多...
Python多线程编程详解

Python多线程编程详解

概要 进程&#xff08;process&#xff09;指的是正在运行的程序的实例&#xff0c;当我们执行某个程序时&#xff0c;进程就被操作系统创建了。而线程&#xff08;thread&#xff09;则包含于进程之中&#xff0c;是操作系统能够进行运算调度的最小单元&#xff0c;多个线程可…
阅读更多...
【AntDB数据库】AntDB数据库告警管理

【AntDB数据库】AntDB数据库告警管理

告警历史 功能概述 数据库系统的主机、单节点集群的被监测指标达到告警阀值时&#xff0c;AMOPS就会产生告警并展示在告警分类页面上。 告警分类页面提供告警搜索查看功能&#xff0c;用户可以指定监控项、集群、事件级别、时间范围和告警对象对告警进行搜索。 查询的告警数…
阅读更多...
Android12之执行adb disable-verity后android无法启动(一百五十六)

Android12之执行adb disable-verity后android无法启动(一百五十六)

简介&#xff1a; CSDN博客专家&#xff0c;专注Android/Linux系统&#xff0c;分享多mic语音方案、音视频、编解码等技术&#xff0c;与大家一起成长&#xff01; 优质专栏&#xff1a;Audio工程师进阶系列【原创干货持续更新中……】&#x1f680; 人生格言&#xff1a; 人生…
阅读更多...
AotucCrawler 快速爬取图片

AotucCrawler 快速爬取图片

AotucCrawler 快速爬取图片 今天介绍一款自动化爬取图片项目。 GitHub: GitHub - YoongiKim/AutoCrawler: Google, Naver multiprocess image web crawler (Selenium) Google, Naver multiprocess image web crawler (Selenium) 关键字 爬虫网站&#xff1a;Google、Naver &…
阅读更多...
【深度学习】2-3 神经网络-输出层设计

【深度学习】2-3 神经网络-输出层设计

前馈神经网络(Feedforward Neural Network)&#xff0c;之前介绍的单层感知机、多层感知机等都属于前馈神经网络&#xff0c;它之所以称为前馈(Feedforward)&#xff0c;或许与其信息往前流有关&#xff1a;数据从输入开始&#xff0c;流过中间计算过程&#xff0c;最后达到输出…
阅读更多...
springboot-内置Tomcat

springboot-内置Tomcat

一、springboot的特性之一 基于springboot的特性 自动装配Configuretion 注解 二、springboot内置Tomcat步骤 直接看SpringApplication方法的代码块 总纲&#xff1a; 1、在SpringApplication.run 初始化了一个上下文ConfigurableApplicationContext configurableApplica…
阅读更多...
服务负载均衡Ribbon

服务负载均衡Ribbon

服务负载均衡Ribbon Ribbon 介绍Ribbon 案例Ribbon 负载均衡策略Ribbon 负载均衡算法设置自定义负载均衡算法 Ribbon 介绍 Ribbon 是一个的客服端负载均衡工具&#xff0c;它是基于 Netflix Ribbon 实现的。它不像 Spring Cloud 服务注册中心、配置中心、API 网关那样独立部署…
阅读更多...
使用Postman创建Mock Server

使用Postman创建Mock Server

这篇文章将教会大家如何利用 Postman&#xff0c;通过 Mock 的方式测试我们的 API。 什么是 Mock Mock 是一项特殊的测试技巧&#xff0c;可以在没有依赖项的情况下进行单元测试。通常情况下&#xff0c;Mock 与其他方法的主要区别就是&#xff0c;用于取代代码依赖项的模拟对…
阅读更多...
论文笔记 | 谷歌 Soft Prompt Learning ，Prefix-Tuning的 -＞ soft promt -＞ p tuning v2

论文笔记 | 谷歌 Soft Prompt Learning ，Prefix-Tuning的 -＞ soft promt -＞ p tuning v2

论文笔记 | 谷歌 Soft Prompt Learning ptuning -> Prefix-Tuning -> soft promt -> p tuning v2 "The Power of Scale for Parameter-Efficient Prompt Tuning" EMNLP 2021 Google Brain 人能理解的不一定是模型需要的&#xff0c;所以不如让模型自己训…
阅读更多...
多线程之线程安全

多线程之线程安全

写在前面 本文一起看下线程安全相关内容。 1&#xff1a;重要的概念 1.1&#xff1a;竞态条件 多个线程竞争同一资源&#xff0c;如果是对多个线程访问资源的顺序敏感&#xff08;即导致非预期结果&#xff09;&#xff0c;则该资源就是竞态条件。 1.2&#xff1a;临界区 …
阅读更多...
亚毫秒GC暂停到底有多香？JDK17+ZGC初体验｜得物技术

亚毫秒GC暂停到底有多香？JDK17+ZGC初体验｜得物技术

1 前言 垃圾回收器的暂停问题一直是Java工程师关注的重点&#xff0c;特别是对实时响应要求较高的服务来说&#xff0c;CMS和G1等主流垃圾回收器的数十毫秒乃至上百毫秒的暂停时间相当致命。此外&#xff0c;调优门槛也相对较高&#xff0c;需要对垃圾回收器的内部机制有一定的…
阅读更多...
Nodejs六、数据库操作

Nodejs六、数据库操作

零、文章目录 Nodejs六、数据库操作 1、MYSQL数据库 MYSQL相关知识请参考MYSQL基础 2、在项目中操作 MySQL &#xff08;1&#xff09;操作数据库的步骤 安装操作 MySQL 数据库的第三方模块&#xff08;mysql&#xff09;通过 mysql 模块连接到 MySQL 数据库通过 mysql 模…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023