Windows下安装Hive(包安装成功)

news2024/11/24 18:59:38

Windows下安装Hive

  • Hive与Hadoop的版本选择很关键,千万不能选错,否则各种报错。
  • 一、Hive下载
    • 1.1、官网下载Hive
    • 1.2、网盘下载Hive
  • 二、解压安装包,配置Hive环境变量
    • 2.1、环境变量新增:HIVE_HOME
    • 2.2、修改Path环境变量,增加Hive的bin路径
  • 三、解决“Windows环境中缺少Hive的执行文件和运行程序”的问题
    • 3.1、下载低版本Hive(apache-hive-2.0.0-src)
    • 3.2、将低版本Hive的bin目录替换Hive原有的bin目录(D:\bigdata\hive\2.3.5\bin)
  • 四、给Hive添加MySQL的jar包
    • 4.1、下载连接MySQL的依赖jar包“mysql-connector-java-5.1.47-bin.jar”
    • 4.2、拷贝到$HIVE_HOME/lib目录下
  • 五、创建Hive配置文件(hive-site.xml、hive-env.sh、hive-log4j2.properties、hive-exec-log4j2.properties)
  • 六、新建Hive本地目录
  • 七、修改Hive配置文件
    • 7.1、修改Hive配置文件 hive-env.sh
    • 7.2、修改Hive配置文件 hive-site.xml
  • 八、启动Hadoop
    • 8.1、启动Hadoop
    • 8.2、在Hadoop上创建HDFS目录并给文件夹授权(选做,可不做)
  • 九、启动Hive服务

Hive与Hadoop的版本选择很关键,千万不能选错,否则各种报错。

本篇
Hadoop版本为:2.7.2
Hive版本为:2.3.5

请严格按照版本来安装。

一、Hive下载

1.1、官网下载Hive

https://dlcdn.apache.org/hive/

1.2、网盘下载Hive

如果嫌慢,可以网盘下载:链接:
https://pan.baidu.com/s/1axk8C4Zw7CUuP1b1SGPyPg?pwd=yyds

二、解压安装包,配置Hive环境变量

解压安装包到(D:\bigdata\hive\2.3.5),注意路径不要有空格

2.1、环境变量新增:HIVE_HOME

在这里插入图片描述

2.2、修改Path环境变量,增加Hive的bin路径

在这里插入图片描述

三、解决“Windows环境中缺少Hive的执行文件和运行程序”的问题

Hive 的Hive_x.x.x_bin.tar.gz 高版本在windows 环境中缺少 Hive的执行文件和运行程序。
解决方法:

3.1、下载低版本Hive(apache-hive-2.0.0-src)

下载地址:http://archive.apache.org/dist/hive/hive-2.0.0/apache-hive-2.0.0-bin.tar.gz
或者网盘下载:https://pan.baidu.com/s/1exyrc51P4a_OJv2XHYudCw?pwd=yyds

3.2、将低版本Hive的bin目录替换Hive原有的bin目录(D:\bigdata\hive\2.3.5\bin)

替换后:
在这里插入图片描述

四、给Hive添加MySQL的jar包

下载和拷贝一个 mysql-connector-java-5.1.47-bin.jar$HIVE_HOME/lib 目录下。

4.1、下载连接MySQL的依赖jar包“mysql-connector-java-5.1.47-bin.jar”

官网下载地址:https://downloads.mysql.com/archives/get/p/3/file/mysql-connector-java-5.1.47.zip
或者网盘下载:https://pan.baidu.com/s/1X6ZGyy3xNYI76nDoAjfVVA?pwd=yyds

4.2、拷贝到$HIVE_HOME/lib目录下

在这里插入图片描述

五、创建Hive配置文件(hive-site.xml、hive-env.sh、hive-log4j2.properties、hive-exec-log4j2.properties)

配置文件目录(%HIVE_HOME%\conf)有4个默认的配置文件模板拷贝成新的文件名

原文件名拷贝后的文件名
hive-log4j.properties.templatehive-log4j2.properties
hive-exec-log4j.properties.templatehive-exec-log4j2.properties
hive-env.sh.templatehive-env.sh
hive-default.xml.templatehive-site.xml

在这里插入图片描述

六、新建Hive本地目录

后面Hive的配置文件用到下面这些目录:
先在Hive安装目录下建立 data 文件夹,
然后再到在这个文件夹下建
op_logs
query_log
resources
scratch
这四个文件夹,建完后如下图所示:
在这里插入图片描述

七、修改Hive配置文件

7.1、修改Hive配置文件 hive-env.sh

编辑 conf\hive-env.sh 文件:
根据自己的Hive安装路径(D:\hive-3.1.3),添加三条配置信息:

# Set HADOOP_HOME to point to a specific hadoop install directory
 HADOOP_HOME=D:\bigdata\hadoop\2.7.2

# Hive Configuration Directory can be controlled by:
 export HIVE_CONF_DIR=D:\bigdata\hive\2.3.5\conf

# Folder containing extra libraries required for hive compilation/execution can be controlled by:
 export HIVE_AUX_JARS_PATH=D:\bigdata\hive\2.3.5\lib

在这里插入图片描述

7.2、修改Hive配置文件 hive-site.xml

编辑 conf\hive-site.xml 文件:
根据自己的Hive安装路径(D:/hive-3.1.3),修改下面几个参数的配置:

  <property>
    <name>hive.exec.local.scratchdir</name>
    <value>D:/bigdata/hive/2.3.5/data/scratch</value>
    <description>Local scratch space for Hive jobs</description>
  </property>
  <property>
    <name>hive.server2.logging.operation.log.location</name>
    <value>D:/bigdata/hive/2.3.5/data/op_logs</value>
    <description>Top level directory where operation logs are stored if logging functionality is enabled</description>
  </property>
  <property>
    <name>hive.downloaded.resources.dir</name>
    <value>D:/bigdata/hive/2.3.5/data/resources/${hive.session.id}_resources</value>
    <description>Temporary local directory for added resources in the remote file system.</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
    <description>Username to use against metastore database</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
    <description>password to use against metastore database</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3307/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value>
    <description>
      JDBC connect string for a JDBC metastore.
      To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL.
      For example, jdbc:postgresql://myhost/db?ssl=true for postgres database.
    </description>
  </property>

修改后的 hive-site.xml 下载地址:https://pan.baidu.com/s/1ycOGYzh7t3np2Qfy5A_rLg?pwd=yyds

八、启动Hadoop

8.1、启动Hadoop

Hadoop安装及启动,请看这篇博文:Windows下安装Hadoop(手把手包成功安装)
在这里插入图片描述
可以通过访问namenode和HDFS的Web UI界面(http://localhost:50070)
以及resourcemanager的页面(http://localhost:8088)

8.2、在Hadoop上创建HDFS目录并给文件夹授权(选做,可不做)

使用命令:

hadoop fs  -mkdir       /tmp
hadoop fs  -mkdir       /user/
hadoop fs  -mkdir       /user/hive/
hadoop fs  -mkdir       /user/hive/warehouse 
hadoop fs  -chmod g+w   /tmp
hadoop fs  -chmod g+w   /user/hive/warehouse

或者使用命令:

hdfs dfs -mkdir /tmp
hdfs dfs -chmod -R 777 /tmp

在这里插入图片描述
在Hadoop管理台(http://localhost:50070/explorer.html#/)可以看相应的情况:
在这里插入图片描述
在这里插入图片描述

九、启动Hive服务

初始化Hive元数据库(修改为采用MySQL存储元数据)
在%HIVE_HOME%/bin目录下执行下面的脚本:

hive --service schematool -dbType mysql -initSchema

在这里插入图片描述
可以发现,自动连接MySQL去创建schema hive,并执行脚本。
在这里插入图片描述
输入hive,进入hive:

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/820048.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Oracle免费在线编程:Oracle APEX

前提&#xff1a; 注意&#xff1a;你要有个梯子才能更稳定的访问。 不需要安装Oracle&#xff0c;但是需要注册。&#xff08;还算方便的&#xff09; 注册&登录过程 进入Oracle APEX官网&#xff0c;我们选择免费的APEX工作区即可&#xff0c;点击“免费注册”。在注册…

基于H5或者微信小程序开发GIS地图实战全套代码

1 下面有一定基础的可以不看 (1)第一篇请看 微信小程序开发天地图 (2)第二篇请看 http://GeoServer+PostgreSQL+PostGIS+Tomcat+QGIS一整套相关 (3)第三篇请看 有国产化需求的 (4)第四篇请看 支持国家EPSG:4490 2 vue+openlayers实例代码

ThreadLocal原理

ThreadLocal原理 ThreadLocal对象new出来存放到堆中&#xff0c;ThreadLocal引用是存放在栈里 Thread 类有个 ThreadLocalMap 成员变量&#xff0c;Map的key是Threadlocal 对象&#xff0c;value是你要存放的线程局部变量。 public void set(T value) {//获取当前线程Thread&…

SpringBoot复习:(11)SpringApplication中的listeners成员变量是怎么初始化的?

initializers成员变量定义如下&#xff1a; 在构造方法中&#xff1a; setListeners代码如下&#xff1a; 给setListeners方法传递的是getSpringFactoriesInstances(ApplicationListener.class). getSpringFactoriesInstances代码如下&#xff1a; 调用的重载的getSpringFa…

redis 高级篇4 分布式锁

一 redis架构图 1.1 redis的架构图 1.2 分布式锁满足条件 1.独占性&#xff1b;2.高可用&#xff1b;3.防死锁&#xff1b;4.不乱抢&#xff1b;5.重入性 二 分布式锁的案例情况 2.1 分布式锁1:单机分布式部署 描述&#xff1a; 使用lock锁和synchronized&#xff0c;单机…

【shell】获取ping的时延数据并分析网络情况及常用命令学习

文章目录 获取ping的时延数据并分析网络情况|、||、&、&&辨析teetailkillall 获取ping的时延数据并分析网络情况 网络情况经常让我们头疼&#xff0c;每次都需要手动在终端ping太麻烦了&#xff0c;不如写个脚本ping并将数据带上时间戳存入文件&#xff0c;然后也…

iPhone 6透明屏是什么?原理、特点、优势

iPhone 6透明屏是一种特殊的屏幕技术&#xff0c;它能够使手机屏幕变得透明&#xff0c;让用户能够透过屏幕看到手机背后的物体。 这种技术在科幻电影中经常出现&#xff0c;给人一种未来科技的感觉。下面将介绍iPhone 6透明屏的原理、特点以及可能的应用。 iPhone 6透明屏的原…

【外卖系统】新增菜品

需求分析 在后台中&#xff0c;通过新增功能来添加一个新的菜品&#xff0c;在添加菜品时需要选择当前菜品所属的菜品分类&#xff0c;并且需要上传的菜品图片。 代码开发 需要添加的类和基本接口&#xff1a;实体类DishFlavor、Mapper接口DishFlavorMapper、业务层接口Dish…

顶尖211,央企收割机!面试仅16%!超线30分,稳稳上岸!

一、学校及专业介绍 南京理工大学&#xff08;Nanjing University of Science and Technology&#xff09;&#xff0c;简称南理&#xff0c;位于南京市&#xff0c;是隶属于工业和信息化部的全国重点大学&#xff0c;是国家“双一流”建设高校&#xff0c;“211工程”。由于学…

百模征战,如何解决数据卡脖子问题?

‍数据智能产业创新服务媒体 ——聚焦数智 改变商业 继ChatGPT以来&#xff0c;大模型在国内掀起了一股热潮&#xff0c;大有百模征战之意。而其中数据、算法、算力作为大模型训练的三驾马车&#xff0c;预训练数据的数量、质量、多样性成为大模型能力表现的关键性因素&#x…

8.Winform界面打包成DLL提供给其他的项目使用

背景 希望集成一个Winform的框架&#xff0c;提供权限菜单&#xff0c;根据权限出现各个Winform子系统的菜单界面。不希望把所有的界面都放放在同一个解决方案下面。用各个子系统建立不同的解决方案&#xff0c;建立代码仓库&#xff0c;进行管理。 实现方式 将Winform的UI界…

Linux系统使用(超详细,暑假弯道超车!!)

目录 Linux操作系统简介 Linux和windows区别 Linux常见命令 Linux目录结构 Linux命令提示符 常用命令 ls cd pwd touch cat echo mkdir rm cp mv vim vim的基本使用 grep netstat Linux面试题 Linux操作系统简介 Linux操作系统是和windows操作系统是并列的关系。只不过只…

牛客网Verilog刷题——VL54

牛客网Verilog刷题——VL54 题目答案 题目 实现一个深度为8&#xff0c;位宽为4bit的双端口RAM&#xff0c;数据全部初始化为0000。具有两组端口&#xff0c;分别用于读数据和写数据&#xff0c;读写操作可以同时进行。当读数据指示信号read_en有效时&#xff0c;通过读地址信号…

SpringBoot 集成Swagger2

一、入门 1、导入依赖 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-configuration-processor</artifactId><optional>true</optional></dependency><!-- https://mvnrepository.com…

IIC协议原理及IIC通信的具体实现(S3C2440裸机开发)

文章目录 前言一、IIC协议二、IIC的控制2.1 IIC控制相关寄存器2.2 IIC控制中的特征信号2.3 IIC的数据传输格式2.3.1 ACK信号2.3.2 数据读写操作2.3.3 中止通信 三、 IIC编程3.1 IIC编程的相关寄存器3.2 IIC代码实现 总结 前言 本期和大家主要分享的是一种非常常见并且非常常用…

【笔记】欧拉回路与欧拉路径

先放结论 对于一个无向连通图1&#xff1a; 存在欧拉路径的充分必要条件为&#xff1a;度数为奇数的点只有 0 0 0 或 2 2 2 个。存在欧拉回路的充分必要条件为&#xff1a;没有度数为奇数的点。 对于一个有向连通图&#xff1a; 存在欧拉路径的充分必要条件为&#xff1a; 所…

asm:常用语法

常用语法 1、循环1.1、使用条件跳转指令实现循环1.2、使用LOOP指令实现循环 2、字符串2.1、指定字符串的长度2.2、字符串指令2.3、重复前缀 3、数组4、递归5、宏6、文件操作7、内存管理 1、循环 1.1、使用条件跳转指令实现循环 汇编语言中实现循环通常需要使用跳转指令和条件…

k8s概念-DaemonSet

回到目录 参考链接https://v1-23.docs.kubernetes.io/zh/docs/concepts/workloads/controllers/daemonset/ DaemonSet 确保全部&#xff08;或者某些&#xff09;节点上运行一个 Pod 的副本 当节点加入到K8S集群中&#xff0c;pod会被&#xff08;DaemonSet&#xff09;调度到…

昆腾存储XSAN架构迁移误格式化系统的服务器数据恢复案例

服务器数据恢复环境&#xff1a; 昆腾存储&#xff0c; 操作系统&#xff1a;MAC OS&#xff0c; 存放的数据类型&#xff1a;MXF、MOV等格式视频文件。 存储中有9个数据卷&#xff0c;其中包括1个META信息卷&#xff0c;8个DATA信息卷。 服务器故障&#xff1a; 由于业务需求…

《入门级-Cocos2d 4.0塔防游戏开发》---实战

第一课&#xff1a;coco2dx4.0开发环境搭建 在uos专业版本搭建cocos2dx4.0开发环境 ---》 点击学习 第二课&#xff1a;游戏加载界面开发 介绍coco2dx4.0的场景添加. ---》 点击学习 第三课&#xff1a;欢迎界面开发&#xff08;一&#xff09; 开发欢迎界面的精灵添加和位…