06 - metastore服务、hive服务启动脚本以及相关使用技巧

news2024/11/26 15:26:08

目录

1、metastore服务

1.1、metastore运行模式

1.2、metastore部署

1.3、测试

2、编写Hive服务启动脚本

3、Hive使用技巧

3.1、Hive常用交互命令

3.2、Hive参数配置方式

3.3、Hive常见属性配置

1、metastore服务

Hive的metastore服务的作用是为Hive CLI或者Hiveserver2提供元数据访问接口。

1.1、metastore运行模式

metastore有两种运行模式，分别为嵌入式模式和独立服务模式。下面分别对两种模式进行说明：

（1）嵌入式模式

（2）独立服务模式

生产环境中，不推荐使用嵌入式模式。因为其存在以下两个问题：

（1）嵌入式模式下，每个Hive CLI都需要直接连接元数据库，当Hive CLI较多时，数据库压力会比较大。

（2）每个客户端都需要用户元数据库的读写权限，元数据库的安全得不到很好的保证。

1.2、metastore部署

（1）嵌入式模式

        嵌入式模式下，只需保证Hiveserver2和每个Hive CLI的配置文件hive-site.xml中包含连接元数据库所需要的以下参数即可：

<!-- jdbc连接的URL -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://hadoop102:3306/metastore?useSSL=false</value>
    </property>
    
    <!-- jdbc连接的Driver-->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    
	<!-- jdbc连接的username-->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>

    <!-- jdbc连接的password -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>

（2）独立服务模式

独立服务模式需做以下配置：

首先，保证metastore服务的配置文件hive-site.xml中包含连接元数据库所需的以下参数：

（注意：这里我们将之前的hadoop102上的hive目录拷贝一份到hadoop103服务下面这个metastore部署在hadoop102）

<!-- jdbc连接的URL -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://hadoop102:3306/metastore?useSSL=false</value>
    </property>
    
    <!-- jdbc连接的Driver-->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    
	<!-- jdbc连接的username-->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>

    <!-- jdbc连接的password -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>

其次，保证Hiveserver2和每个Hive CLI的配置文件hive-site.xml中包含访问metastore服务所需的以下参数，注意：这个就再hadoop103上面配置：

<!-- 指定metastore服务的地址 -->
<property>
	<name>hive.metastore.uris</name>
	<value>thrift://hadoop102:9083</value>
</property>

 注意：主机名需要改为metastore服务所在节点，端口号无需修改，metastore服务的默认端口就是9083。

1.3、测试

此时启动Hive CLI，执行shou databases语句，会出现一下错误提示信息：

hive (default)> show databases;

FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

这是因为我们在Hive CLI的配置文件中配置了hive.metastore.uris参数，此时Hive CLI会去请求我们执行的metastore服务地址，所以必须启动metastore服务才能正常使用

metastore服务的启动命令如下：

[kgf@hadoop202 hive]$ hive --service metastore

2022-04-24 16:58:08: Starting Hive Metastore Server

注意：启动后该窗口不能再操作，需打开一个新的Xshell窗口来对Hive操作。

重新启动 Hive CLI，并执行shou databases语句，就能正常访问了

2、编写Hive服务启动脚本

1）前台启动的方式导致需要打开多个Xshell窗口，可以使用如下方式后台方式启动

  • nohup：放在命令开头，表示不挂起，也就是关闭终端进程也继续保持运行状态
  • /dev/null：是Linux文件系统中的一个文件，被称为黑洞，所有写入该文件的内容都会被自动丢弃
  • 2>&1：表示将错误重定向到标准输出上
  • &：放在命令结尾，表示后台运行

一般会组合使用：nohup  [xxx命令操作]> file  2>&1 &，表示将xxx命令运行的结果输出到file中，并保持命令启动的进程在后台运行

[kgf@hadoop202 hive]$ nohup hive --service metastore 2>&1 &

[kgf@hadoop202 hive]$ nohup hive --service hiveserver2 2>&1 &

2）为了方便使用，可以直接编写脚本来管理服务的启动和关闭

[kgf@hadoop102 hive]$ vim $HIVE_HOME/bin/hiveservices.sh

内容如下：

#!/bin/bash

HIVE_LOG_DIR=$HIVE_HOME/logs
if [ ! -d $HIVE_LOG_DIR ]
then
	mkdir -p $HIVE_LOG_DIR
fi

#检查进程是否运行正常，参数1为进程名，参数2为进程端口
function check_process()
{
    pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print $2}')
    ppid=$(netstat -nltp 2>/dev/null | grep $2 | awk '{print $7}' | cut -d '/' -f 1)
    echo $pid
    [[ "$pid" =~ "$ppid" ]] && [ "$ppid" ] && return 0 || return 1
}

function hive_start()
{
    metapid=$(check_process HiveMetastore 9083)
    cmd="nohup hive --service metastore >$HIVE_LOG_DIR/metastore.log 2>&1 &"
    [ -z "$metapid" ] && eval $cmd || echo "Metastroe服务已启动"
    server2pid=$(check_process HiveServer2 10000)
    cmd="nohup hive --service hiveserver2 >$HIVE_LOG_DIR/hiveServer2.log 2>&1 &"
    [ -z "$server2pid" ] && eval $cmd || echo "HiveServer2服务已启动"
}

function hive_stop()
{
metapid=$(check_process HiveMetastore 9083)
    [ "$metapid" ] && kill $metapid || echo "Metastore服务未启动"
    server2pid=$(check_process HiveServer2 10000)
    [ "$server2pid" ] && kill $server2pid || echo "HiveServer2服务未启动"
}

case $1 in
"start")
    hive_start
    ;;
"stop")
    hive_stop
    ;;
"restart")
    hive_stop
    sleep 2
    hive_start
    ;;
"status")
    check_process HiveMetastore 9083 >/dev/null && echo "Metastore服务运行正常" || echo "Metastore服务运行异常"
    check_process HiveServer2 10000 >/dev/null && echo "HiveServer2服务运行正常" || echo "HiveServer2服务运行异常"
    ;;
*)
    echo Invalid Args!
    echo 'Usage: '$(basename $0)' start|stop|restart|status'
    ;;
esac

3）添加执行权限

[kgf@hadoop102 hive]$ chmod +x $HIVE_HOME/bin/hiveservices.sh

4）启动Hive后台服务

[kgf@hadoop102 hive]$ hiveservices.sh start

3、Hive使用技巧

3.1、Hive常用交互命令

[kgf@hadoop102 hive]$ bin/hive -help

usage: hive

 -d,--define <key=value>          Variable subsitution to apply to hive

                                  commands. e.g. -d A=B or --define A=B

    --database <databasename>     Specify the database to use

 -e <quoted-query-string>         SQL from command line

 -f <filename>                      SQL from files

 -H,--help                        Print help information

    --hiveconf <property=value>   Use value for given property

    --hivevar <key=value>         Variable subsitution to apply to hive

                                  commands. e.g. --hivevar A=B

 -i <filename>                    Initialization SQL file

 -S,--silent                      Silent mode in interactive shell

 -v,--verbose                     Verbose mode (echo executed SQL to the console)

1）在Hive命令行里创建一个表student，并插入1条数据

hive (default)> create table student(id int,name string);

OK

Time taken: 1.291 seconds

hive (default)> insert into table student values(1,"zhangsan");

hive (default)> select * from student;

OK

student.id   student.name

1  zhangsan

Time taken: 0.144 seconds, Fetched: 1 row(s)

2）“-e”不进入hive的交互窗口执行hql语句

[kgf@hadoop102 hive]$ bin/hive -e "select id from student;"

3）“-f”执行脚本中的hql语句

（1）在/opt/module/hive/下创建datas目录并在datas目录下创建hivef.sql文件

[kgf@hadoop102 hive]$ mkdir datas

[kgf@hadoop102 datas]$ vim hivef.sql

（2）文件中写入正确的hql语句

select * from student;

（3）执行文件中的hql语句

[kgf@hadoop102 hive]$ bin/hive -f /opt/module/hive/datas/hivef.sql

（4）执行文件中的hql语句并将结果写入文件中

[kgf@hadoop102 hive]$ bin/hive -f /opt/module/hive/datas/hivef.sql  > /opt/module/hive/datas/hive_result.txt

3.2、Hive参数配置方式

1）查看当前所有的配置信息

hive>set;

2）参数的配置三种方式

（1）配置文件方式

  • 默认配置文件：hive-default.xml
  • 用户自定义配置文件：hive-site.xml

        注意：用户自定义配置会覆盖默认配置。另外，Hive也会读入Hadoop的配置，因为Hive是作为Hadoop的客户端启动的，Hive的配置会覆盖Hadoop的配置。配置文件的设定对本机启动的所有Hive进程都有效。

（2）命令行参数方式

①启动Hive时，可以在命令行添加-hiveconf param=value来设定参数。例如：

[kgf@hadoop103 hive]$ bin/hive -hiveconf mapreduce.job.reduces=10;

注意：仅对本次Hive启动有效。

②查看参数设置

hive (default)> set mapreduce.job.reduces;

（3）参数声明方式

可以在HQL中使用SET关键字设定参数，例如：

hive(default)> set mapreduce.job.reduces=10;

注意：仅对本次Hive启动有效。

查看参数设置：

hive(default)> set mapreduce.job.reduces;

上述三种设定方式的优先级依次递增。即配置文件 < 命令行参数 < 参数声明。注意某些系统级的参数，例如log4j相关的设定，必须用前两种方式设定，因为那些参数的读取在会话建立以前已经完成了。

3.3、Hive常见属性配置

1）Hive客户端显示当前库和表头

（1）在hive-site.xml中加入如下两个配置:

[kgf@hadoop102 conf]$ vim hive-site.xml

<property>
    <name>hive.cli.print.header</name>
    <value>true</value>
    <description>Whether to print the names of the columns in query output.</description>
</property>
<property>
    <name>hive.cli.print.current.db</name>
    <value>true</value>
    <description>Whether to include the current database in the Hive prompt.</description>
</property>

（2）hive客户端在运行时可以显示当前使用的库和表头信息

[kgf@hadoop102 conf]$ hive

hive (default)> select * from stu;
OK
stu.id	stu.name
1	ss
Time taken: 1.874 seconds, Fetched: 1 row(s)
hive (default)>

2）Hive运行日志路径配置

（1）Hive的log默认存放在/tmp/atguigu/hive.log目录下（当前用户名下）

[kgf@hadoop102 kgf]$ pwd

/tmp/kgf

[kgf@hadoop102 kgf]$ ls

hive.log

hive.log.2022-06-27

（2）修改Hive的log存放日志到/opt/module/hive/logs

        1) 修改$HIVE_HOME/conf/hive-log4j2.properties.template文件名称为

hive-log4j2.properties

[kgf@hadoop102 conf]$ pwd

/opt/module/hive/conf

[kgf@hadoop102 conf]$ mv hive-log4j2.properties.template hive-log4j2.properties

     2)在hive-log4j2.properties文件中修改log存放位置

property.hive.log.dir=/opt/module/hive/logs

3）Hive的JVM堆内存设置

        新版本的Hive启动的时候，默认申请的JVM堆内存大小为256M，JVM堆内存申请的太小，导致后期开启本地模式，执行复杂的SQL时经常会报错：java.lang.OutOfMemoryError: Java heap space，因此最好提前调整一下HADOOP_HEAPSIZE这个参数。

（1）修改$HIVE_HOME/conf下的hive-env.sh.template为hive-env.sh

[kgf@hadoop102 conf]$ pwd

/opt/module/hive/conf

[kgf@hadoop102 conf]$ mv hive-env.sh.template hive-env.sh

（2）将hive-env.sh其中的参数 export HADOOP_HEAPSIZE修改为2048，重启Hive。

4）关闭Hadoop虚拟内存检查

在yarn-site.xml中关闭虚拟内存检查（虚拟内存校验，如果已经关闭了，就不需要配了）。

（1）修改前记得先停Hadoop

[kgf@hadoop102 hadoop]$ pwd

/opt/module/hadoop-3.1.3/etc/hadoop

[kgf@hadoop102 hadoop]$ vim yarn-site.xml

（2）添加如下配置

<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

（3）修改完后记得分发yarn-site.xml，并重启yarn。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1639389.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

linux内核源码分析--核心网络文件和目录

linux内核源码分析--核心网络文件和目录

图3-2显示了在/proc/sys中由网络代码所使用的主要目录&#xff0c;就每个目录而言&#xff0c;都列出了在哪一章描述其文件。 proc/sys/net bridge ipv4 core route neigh conf 图3-2/proc/sys/net 中的核心目录 根据前借所述&#xff0c;我们来看net中的树根是如何定义的&…
阅读更多...
SpringCloudAlibaba:3.1dubbo

SpringCloudAlibaba:3.1dubbo

dubbo 概述 简介 Apache Dubbo 是一款 RPC 服务开发框架&#xff0c;用于解决微服务架构下的服务治理与通信问题 官方提供了 Java、Golang、Rust 等多语言 SDK 实现 Dubbo的开源故事 最早在2008年&#xff0c;阿里巴巴就将Dubbo捐献到开源社区&#xff0c;它很快成为了国内开源…
阅读更多...
R语言的学习—5—多元数据直观表示

R语言的学习—5—多元数据直观表示

1、数据读取 ## 数据整理 d3.1read.xlsx(adstats.xlsx,d3.1,rowNamesT);d3.1 #读取adstats.xlsx表格d3.1数据 barplot(apply(d3.1,1,mean)) #按行做均值条形图 barplot(apply(d3.1,1,mean),las3) barplot(apply(d3.1,2,mean)) #按列做均值图条形图 barplot(a…
阅读更多...
JavaEE ＞＞ Spring MVC(1)

JavaEE ＞＞ Spring MVC(1)

MVC MVC&#xff1a;Model View Controller 的缩写&#xff0c;是一种软件架构模式&#xff0c;将软件系统分为模型、视图和控制器三个部分。 Mode&#xff08;模型&#xff09;&#xff1a;是应⽤程序中⽤于处理应⽤程序数据逻辑的部分。通常模型对象负责在数据库中存取数据…
阅读更多...
【C++STL详解(五)】--------list的介绍与使用

【C++STL详解(五)】--------list的介绍与使用

目录 前言 一、list的介绍 二、list的使用 Ⅰ.默认成员函数 1、构造函数 2、赋值重载 3、析构函数 Ⅱ、容量 1.size() Ⅲ、迭代器与遍历 1.beginend (正向迭代器) 2.rbeginrend (反向迭代器) 3.front 4.back Ⅳ、增删查改 1.push_front 2.pop_front 3.push_b…
阅读更多...
【跟马少平老师学AI】-【神经网络是怎么实现的】（九）长短期记忆网络

【跟马少平老师学AI】-【神经网络是怎么实现的】（九）长短期记忆网络

一句话归纳&#xff1a; 1&#xff09;RNN也会存在梯度消失的问题。 2&#xff09;同一句话&#xff0c;对于不同的任务&#xff0c;句中不同的词起的作用也不一样。 3&#xff09;LSTM&#xff08;长短期记忆&#xff09;子网络&#xff1a; 门&#xff0c;让输入经过运算&…
阅读更多...
目标检测算法YOLOv4简介

目标检测算法YOLOv4简介

YOLOv4由Alexey Bochkovskiy等人于2020年提出&#xff0c;论文名为&#xff1a;《YOLOv4: Optimal Speed and Accuracy of Object Detection》&#xff0c;论文见&#xff1a;https://arxiv.org/pdf/2004.10934 &#xff0c;GitHub Code&#xff1a;https://github.com/AlexeyA…
阅读更多...
05_机器学习赛事_优惠券使用预测

05_机器学习赛事_优惠券使用预测

1. 函数库导入 # import libraries necessary for this project import os, sys, pickleimport numpy as np import pandas as pdimport matplotlib.pyplot as plt import matplotlib.dates as mdatesimport seaborn as sns import datetime as dtfrom datetime import datefr…
阅读更多...
webm视频转mp4，webm视频格式转换，6个方法介绍！

webm视频转mp4，webm视频格式转换，6个方法介绍！

如何把webm格式转换成mp4&#xff1f;随着生活节奏的加快&#xff0c;视频的应用范围愈发广泛&#xff0c;我们较常见于短视频平台、网站页面等等。同样的&#xff0c;视频已经成为当前分享信息、传播信息的关键工具之一。在技术不断革新的基础上&#xff0c;视频技术也在不断完…
阅读更多...
C++深度解析教程笔记4

C++深度解析教程笔记4

C深度解析教程笔记4 第7课 - 函数参数的扩展实验-默认参数实验-从右提供的默认参数实验-默认值与占位参数结合小结 第8课 - 函数重载分析&#xff08;上&#xff09;实验-函数重载实验-有歧义的重载实验-重载函数是同一函数吗查看vs2010的obj文件的符号表 小结 第9课 - 函数重载…
阅读更多...
How a window is added to windowmanager when you start an activity

How a window is added to windowmanager when you start an activity

finally call mWindowSession.addToDisplayAsUser how surfacecontrol is showed when you start an activity
阅读更多...
Redis教程——事务

Redis教程——事务

在上篇文章我们学习了Redis教程——持久化&#xff08;AOF&#xff09;&#xff0c;这篇文章我们学习Redis教程——事务。 Redis事务 事务是一组操作的集合&#xff0c;它是一个不可分割的工作单位&#xff0c;事务会把所有的操作作为一个整体一起向系统提交或撤销操作请求&a…
阅读更多...
ROS1快速入门学习笔记 - 014launch启动文件的使用方法

ROS1快速入门学习笔记 - 014launch启动文件的使用方法

一、定义 Launch文件&#xff1a;通过XML文件实现多节点的配置和启动&#xff08;可自动启动ROSMaster&#xff09; 二、常用语法 1. 根标签 <launch> - launch文件中的根元素采用<launch>标签定义 <launch>表示开始&#xff1b;<launch>表示结束&…
阅读更多...
搜狗输入法自动切换双拼方案

搜狗输入法自动切换双拼方案

解决方法&#xff0c; 安装 13.2.0 &#xff0c; to be verified SGSRv13206899_搜狗输入法13.2.0 需要关闭自动升级
阅读更多...
某米社区请求data类型multipart_form-data分析

某米社区请求data类型multipart_form-data分析

随笔记录 之前未曾遇到请求的Content-Type：multipart/form-data; boundary=----WebKitFormBoundary9Fxpi3Dvlnhm3MKq，今天就简单是根据目标网站进行分析下，目标站点是：aHR0cHM6Ly93ZWIudmlwLm1pdWkuY29tL3BhZ2UvaW5mby9taW8vbWlvL3BjU2VhcmNoP2Zyb21QYXRobmFtZT1taW9Cb2FyZ…
阅读更多...
STL中常见的算法及其应用（一）

STL中常见的算法及其应用（一）

总述： 一、常见的遍历算法 1、for_each//遍历容器 函数原型： for_each(iterator beg, iterator end, _func); beg：开始迭代器； end：结束迭代器； _func：函数或者函数对象； 总结：for_each函数在STL中十分重要，需要熟练掌握 示例： std::for_each 是 C++ 标准…
阅读更多...
如何利用ChatGPT撰写满分文案：技巧与实例解析

如何利用ChatGPT撰写满分文案：技巧与实例解析

在当今社会&#xff0c;随着企业越来越重视宣传推广&#xff0c;文案写作已成为关键的营销手段之一。同时&#xff0c;人工智能的快速发展为文案创作提供了新的工具和方法。例如&#xff0c;ChatGPT这种基于自然语言处理的模型&#xff0c;在协助撰写多种文案方面展现出了极大的…
阅读更多...
A4的PDF按A3打印

A4的PDF按A3打印

先用办公软件打开&#xff0c;比如WPS。 选择打印-属性。 纸张选A3&#xff0c;如果是双面打印&#xff0c;选短边装订&#xff0c;然后在版面-页面排版-每张页数&#xff08;N合1&#xff09;选2。 不同打印机的具体配置可能不一样&#xff0c;但大体都是这个套路。
阅读更多...
【画图】读取无人机IMU数据并打印成log用matlab分析

【画图】读取无人机IMU数据并打印成log用matlab分析

一、修改IMU频率 原来的imu没有加速度信息&#xff0c;查看加速度信息的指令为&#xff1a; rostopic echo /mavros/imu/data 修改imu频率&#xff0c;分别修改的是 原始IMU数据话题 /mavros/imu/data_raw。飞控计算过后的IMU数据 /mavros/imu/data rosrun mavros mavcmd l…
阅读更多...
算法提高之方格取数

算法提高之方格取数

算法提高之方格取数 核心思想&#xff1a;数字三角形模型 考虑同时走两条路 用f[i1][j1][i2][j2]表示两条路取值 因为两条路步数一定相同 即i1j1 i2j2 设为k 则f[k][i1][i2]即可表示两条路 k n*2 dp方法如图 #include <iostream>#include <cstring>#inclu…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023