【大数据之Hive】二、Hive安装

news2024/12/24 7:05:53

Hive安装部署(最小化部署)

  安装部署Hive(最小化只用于本机测试环境中,不可用于生产环境),并运行。

步骤:
(1)把apache-hive-3.1.3-bin.tar.gz解压到/opt/module/目录下:

tar -zxvf /opt/software/apache-hive-3.1.3-bin.tar.gz -C /opt/module/

(2)修改apache-hive-3.1.3-bin.tar.gz的名称为hive:

mv /opt/module/apache-hive-3.1.3-bin/ /opt/module/hive

(3)修改/etc/profile.d/my_env.sh,添加环境变量:

sudo vim /etc/profile.d/my_env.sh

# 添加以下:
#HIVE_HOME
export HIVE_HOME=/opt/module/hive
export PATH=$PATH:$HIVE_HOME/bin

(4)source一下,让环境变量生效:

source /etc/profile.d/my_env.sh

(5)先开启hadoop,再初始化元数据库:

myhadoop.sh start
bin/schematool -dbType derby -initSchema

  最小化模式把元数据保存在默认的derby数据库中,最小化模式只适用于本地测试,不能用于生产环境。
  Hive把元数据库metastore_db保存在hive的根目录下。
(6)启动hive:

bin/hive

(7)使用hive:

查看当前所有数据库信息,当没有声明使用什么数据库时则使用默认default数据库
hive> show databases;

hive> show tables;

创建表后hive把表到hdfs的路径进行映射,映射关系保存在元数据库中,在建表时可以指定hdfs路径,未指定则使用默认路径/user/hive/warehouse/中
hive> create table stu(id int, name string);

hive> insert into stu values(1,"ss");

hive优化了简单查询语句,即执行简单查询时hive不向yarn提交任务,减少了开销
hive> select * from stu;

Hive和Hadoop的关系:
  Hive中的表在Hadoop中是目录;Hive中的数据在Hadoop中是文件。
在这里插入图片描述
(8)在另外一个窗口开启hive,查看/tmp/用户名/下的hive.log日志文件:
在这里插入图片描述
报错原因:
  Hive默认使用的元数据库为derby,derby数据库在同一时间只能一个客户访问,如果多个hive客户端同时访问会报错。

解决:
  企业开发中需要多客户访问hive,所以把hive元数据用MYSQL存储,MYSQL支持多客户端同时访问。

(9)先退出hive客户端,在hive根目录下删除derby.log和metastore_db,以及删除HDFS上的hive目录。

hive> quit;

rm -rf derby.log metastore_db
hadoop fs -rm -r /user

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/568330.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

IIC总线学习

IIC总线 1.总线空闲状态。2.IIC总线的起始停止条件。3.IIC总线的数据传送4.IIC总线的应答5.IIC时序 1.总线空闲状态。 总线空闲时,SDA和SCL均为高电平。 2.IIC总线的起始停止条件。 起始条件:在SCL为高时,SDA总线被拉低,即出现…

json-server的基本使用

1、mock是什么? mockjs 作用:生成随机数据,拦截 Ajax 请求 目的:很多时候前端开发页面的过程中,后端的接口并没有写好,这个时候需要前端自己定义接口及接口的返回数据的结构体,这个时候就需要…

【活动】云计算的优势与发展趋势

写在前面 人生是一场消耗,要把美好的时光放在喜欢的人与事上。 一、前言 云计算作为一种新兴的信息技术应用解决方案,可以帮助企业解决IT资源利用率低、IT基础设施的建设和维护成本高、IT系统的安全和稳定性问题等痛点,提高企业的业务灵活性…

react表格行下载文件方法总结

一、前言 下载文件时,后台接口返回的响应体是文件流格式的,前端接收时如果不进行处理,就会无法正确下载文件(有可能会直接打开文件等)。 在此记录下react的表格行使用file-saver下载文件的方法。(注意不同…

文件包含的本质、预处理符号、# vs ##

何为头文件? 在C语言中,文件包含是一种常见的编程技术,它允许程序员在一个源文件中使用另一个源文件中的函数或变量。 文件包含通常使用#include预处理指令来实现。#include指令告诉预处理器将文件的内容插入到当前文件的指定位置中。 例如&a…

今天面了个阿里拿 38K 出来的,让我见识到了测试界的天花板

一直觉得自己的技术已经很不错了,直到最近遇到了一个阿里来的大佬 5年测试,应该是能达到资深测试的水准,即不仅能熟练地开发业务,而且还能熟悉项目开发,测试,调试和发布的流程,而且还应该能全面…

第04章 IDEA的安装与使用

【Why IDEA ?】 【注】JetBrains官方说明: 尽管我们采取了多种措施确保受访者的代表性,但结果可能会略微偏向 JetBrains 产品的用户,因为这些用户更有可能参加调查。 此外,2022年,某美国软件开发商在对近千名专业的J…

chatgpt赋能python:Python中的Split函数:去空操作详解

Python中的Split函数:去空操作详解 在Python编程中,我们经常需要对字符串进行操作。而字符串的分割操作在其中是非常常见的操作。Python中的split函数便是用来实现字符串分割的函数。不过,在使用split函数时通常还需要经过去除空格等操作。 …

Inno软件打包发布并后台安装相关驱动

bat安装 bat脚本的具体书写可自行百度。 其主要思路是将Driver文件存放在Bin下面,先安装Bin,然后在执行bat脚本来安装driver 具体些步骤: (1)编写一个install.bat的脚本 echo off ::下面三行代码是不显示dos界面 i…

加急!指定日本| 教育学老师9天获邀请函申报CSC

S老师拟申报今年的国家留学基金委(CSC)公派访问学者项目,因所在高校要求提前上报,所以委托时只留给我们11天申请时间,且指定日本高校。最终我们在第9天获得熊本大学邀请函,提前完成了客户的委托。 S老师背景…

Android平台GB28181设备接入模块如何对接NV21、YV12、RGB、YUV等外部数据

技术背景 我们在对接Android平台GB28181设备接入模块的开发者时,遇到这样的场景,除了Android设备(如执法记录仪、智能安全帽等)自带的camera或camera2前后摄像头数据外,还有些场景是需要外部编码前或编码后数据&#…

淡季不淡,满帮一季度净利创历史新高的背后原因是什么?

进入五月,经济复苏的成果越发体现在很多基础行业的表现中。经济的“大动脉”货运行业,也迎来一份新答卷。 北京时间5月22日美股盘前,数字货运平台满帮集团(NYSE:YMM,简称:满帮),发布…

预约直播领券,1%服务费,视频号618大促激励来了!

视频号直播6.18大促激励计划来了! 激励有效期为2023年05月31日20:00:00至2023年06月18日23:59:59;参与对象为活动期间满足视频号开播条件的。 通过视频号直播选择“购物”类目开播开通橱窗功能的商家和达人,可参与4大激励计划。 预约领券激…

pix2pixHD---model---生成器

然后是model的搭建: 在creat_model函数中: import torch def create_model(opt):if opt.model pix2pixHD:from .pix2pixHD_model import Pix2PixHDModel, InferenceModelif opt.isTrain:model Pix2PixHDModel()else:model InferenceModel()else:fro…

【FFH】OpenHarmony——ArkTs应用开发+正则表达式

【FFH】OpenHarmony——ArkTs应用开发正则表达式 文章目录 【FFH】OpenHarmony——ArkTs应用开发正则表达式1. 前言——系列介绍2. 本文摘要及背景2.1 摘要2.2 背景2.3 MindMap 3. 正则表达式在ArkTs的使用3.1 变量 RegExp3.2 使用3.3 贪婪模式与懒惰模式:eye_speech_bubble:Ar…

从HelloWorld深入源码了解SpringSecurity底层逻辑

文章目录 一、环境搭建1、创建项目测试1.1、搭建基础项目1.2、整合Spring Security 二、实现原理1、Spring Security的实现原理1.1、Spring Security 如何完成认证和授权1.2、Security Filters 2、 Spring Security默认配置和如何自定义配置 三、整个HelloWorld的流程分析三、H…

流程用例的签名保障,Python接口自动化框架封装案例!

目录 前言: 1.项目背景及需求 2.框架整体架构设计 3.接口管理模块的封装 4.用例管理模块的封装 5.请求模块的封装 6.签名模块的封装 7.案例展示及代码实现 结语: 前言: 随着互联网技术的不断发展,人们对于软件质量的要求…

臻图信息跟进新基建建设,构建“智慧铁路”“指挥调度”管理系统

铁路作为国民经济的骨干、国家关键性基础建设,在社会经济发展中起到关键性作用,交通在全天运行、运量多、运价少、占地面积小和安全环保等方面有着显著的优势。 近年来,我国高度重视铁路发展,2020年8月国铁集团出台《新时代交通强…

Windows系统自带远程桌面和远程协助怎么连接?

随着IT技术的发展和远程办公的兴起,在日常工作中,远程桌面和远程协助等功能已经成为很多用户需要掌握的技能之一。而对于使用Windows系统的用户来说,Windows系统自带的远程桌面和远程协助功能,更是令人欣喜的利器。下面我们就来一…

油猴安装教程及ChatGPT配置

文章目录 目录 文章目录 前言 一. 安装油猴 二、使用步骤 三.安装插件 (ChatGPT) 四. 脚本推荐 前言 作者简介: zuiacsn 座右铭: 抱怨身处黑暗,不如提灯前行 内容介绍: 油猴 油猴(Tampermonkey)指的是一个流行的用户脚本管理器,它能使…