hive数据库查看参数/hive查看当前环境配置

news2025/1/16 8:52:07

文章目录

  • 一、hive查看当前环境配置命令

在一次hive数据库执行命令 set ngmr.exec.mode=cluster时,想看一下 ngmr.exec.mode参数原先的值是什么,所以写一下本篇博文,讲一下怎么查看hive中的参数。

一、hive查看当前环境配置命令

  • set :可以查看所有参数
  • set -v :可得到所有环境变量。如果没有-v参数,只显示与hadoop不同的配置。
  • set 具体参数: 返回具体参数对应的值

案例一:set 具体参数

# 返回mapreduce.map.memory.mb参数的值
set mapreduce.map.memory.mb;

在这里插入图片描述
案例二:set 查询所有变量

set;

案例三:set -v查询所有环境变量

hive> set -v;
silent=off
fs.s3n.impl=org.apache.hadoop.fs.s3native.NativeS3FileSystem
datanucleus.validateColumns=false
mapred.task.cache.levels=2
hadoop.tmp.dir=/home/hexianghui/datahadoop
hadoop.native.lib=true
map.sort.class=org.apache.hadoop.util.QuickSort
ipc.client.idlethreshold=4000
mapred.system.dir=${hadoop.tmp.dir}/mapred/system
hive.script.serde=org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
mapred.job.tracker.persist.jobstatus.hours=0
io.skip.checksum.errors=false
fs.default.name=hdfs://192.168.0.4:9000
mapred.child.tmp=./tmp
datanucleus.cache.level2=false
mapred.skip.reduce.max.skip.groups=0
mapred.jobtracker.instrumentation=org.apache.hadoop.mapred.JobTrackerMetricsInst
mapred.tasktracker.dns.nameserver=default
io.sort.factor=10
hive.metastore.rawstore.impl=org.apache.hadoop.hive.metastore.ObjectStore
hive.metastore.local=true
mapred.task.timeout=600000
mapred.max.tracker.failures=4
hadoop.rpc.socket.factory.class.default=org.apache.hadoop.net.StandardSocketFactory
fs.hdfs.impl=org.apache.hadoop.hdfs.DistributedFileSystem
mapred.queue.default.acl-administer-jobs=*
mapred.queue.default.acl-submit-job=*
mapred.skip.map.auto.incr.proc.count=true
io.mapfile.bloom.size=1048576
tasktracker.http.threads=40
mapred.job.shuffle.merge.percent=0.66
fs.ftp.impl=org.apache.hadoop.fs.ftp.FTPFileSystem
io.bytes.per.checksum=512
mapred.output.compress=false
hive.test.mode.prefix=test_
hive.test.mode=false
hive.exec.compress.intermediate=false
topology.node.switch.mapping.impl=org.apache.hadoop.net.ScriptBasedMapping
datanucleus.cache.level2.type=SOFT
mapred.reduce.slowstart.completed.maps=0.05
mapred.reduce.max.attempts=4
fs.ramfs.impl=org.apache.hadoop.fs.InMemoryFileSystem
javax.jdo.option.ConnectionUserName=APP
mapred.skip.map.max.skip.records=0
hive.merge.mapfiles=true
hive.merge.size.smallfiles.avgsize=16000000
hive.test.mode.samplefreq=32
hive.optimize.skewjoin=false
mapred.job.tracker.persist.jobstatus.dir=/jobtracker/jobsInfo
fs.s3.buffer.dir=${hadoop.tmp.dir}/s3
hive.map.aggr.hash.min.reduction=0.5
job.end.retry.attempts=0
fs.file.impl=org.apache.hadoop.fs.LocalFileSystem
mapred.local.dir.minspacestart=0
hive.exec.compress.output=false
mapred.output.compression.type=RECORD
hive.script.recordreader=org.apache.hadoop.hive.ql.exec.TextRecordReader
topology.script.number.args=100
io.mapfile.bloom.error.rate=0.005
hive.exec.parallel.thread.number=8
mapred.max.tracker.blacklists=4
mapred.task.profile.maps=0-2
mapred.userlog.retain.hours=24
datanucleus.storeManagerType=rdbms
mapred.job.tracker.persist.jobstatus.active=false
hive.script.operator.id.env.var=HIVE_SCRIPT_OPERATOR_ID
hadoop.security.authorization=false
local.cache.size=10737418240
mapred.min.split.size=0
mapred.map.tasks=2
mapred.child.java.opts=-Xmx200m
hive.skewjoin.mapjoin.min.split=33554432
hive.metastore.warehouse.dir=/user/hive/warehouse
mapred.job.queue.name=default
hive.mapjoin.bucket.cache.size=100
datanucleus.transactionIsolation=read-committed
ipc.server.listen.queue.size=128
mapred.inmem.merge.threshold=1000
job.end.retry.interval=30000
mapred.skip.attempts.to.start.skipping=2
fs.checkpoint.dir=${hadoop.tmp.dir}/dfs/namesecondary
mapred.reduce.tasks=-1
mapred.merge.recordsBeforeProgress=10000
mapred.userlog.limit.kb=0
hive.skewjoin.key=100000
javax.jdo.option.ConnectionDriverName=org.apache.derby.jdbc.EmbeddedDriver
webinterface.private.actions=false
mapred.job.shuffle.input.buffer.percent=0.70
io.sort.spill.percent=0.80
hive.udtf.auto.progress=false
hive.session.id=hexianghui_201002232043
mapred.map.tasks.speculative.execution=true
hadoop.util.hash.type=murmur
hive.exec.script.maxerrsize=100000
hive.optimize.groupby=true
mapred.map.max.attempts=4
hive.default.fileformat=TextFile
hive.exec.scratchdir=/tmp/hive-${user.name}
mapred.job.tracker.handler.count=10
hive.script.recordwriter=org.apache.hadoop.hive.ql.exec.TextRecordWriter
hive.join.emit.interval=1000
datanucleus.validateConstraints=false
mapred.tasktracker.expiry.interval=600000
mapred.jobtracker.maxtasks.per.job=-1
mapred.jobtracker.job.history.block.size=3145728
keep.failed.task.files=false
ipc.client.tcpnodelay=false
mapred.task.profile.reduces=0-2
mapred.output.compression.codec=org.apache.hadoop.io.compress.DefaultCodec
io.map.index.skip=0
ipc.server.tcpnodelay=false
hive.join.cache.size=25000
datanucleus.autoStartMechanismMode=checked
hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat
hadoop.logfile.size=10000000
mapred.reduce.tasks.speculative.execution=true
hive.skewjoin.mapjoin.map.tasks=10000
hive.hwi.listen.port=9999
fs.checkpoint.period=3600
mapred.job.reuse.jvm.num.tasks=1
mapred.jobtracker.completeuserjobs.maximum=100
hive.groupby.mapaggr.checkinterval=100000
fs.s3.maxRetries=4
javax.jdo.option.ConnectionURL=jdbc:derby:;databaseName=metastore_db;create=true
hive.mapred.mode=nonstrict
hive.groupby.skewindata=false
hive.exec.parallel=false
mapred.local.dir=${hadoop.tmp.dir}/mapred/local
fs.hftp.impl=org.apache.hadoop.hdfs.HftpFileSystem
fs.s3.sleepTimeSeconds=10
fs.trash.interval=0
mapred.submit.replication=10
hive.merge.size.per.task=256000000
fs.har.impl=org.apache.hadoop.fs.HarFileSystem
mapred.map.output.compression.codec=org.apache.hadoop.io.compress.DefaultCodec
hive.exec.reducers.max=999
mapred.tasktracker.dns.interface=default
mapred.job.tracker=192.168.0.4:9001
io.seqfile.sorter.recordlimit=1000000
hive.optimize.ppd=true
mapred.line.input.format.linespermap=1
mapred.jobtracker.taskScheduler=org.apache.hadoop.mapred.JobQueueTaskScheduler
mapred.tasktracker.instrumentation=org.apache.hadoop.mapred.TaskTrackerMetricsInst
hive.mapjoin.cache.numrows=25000
hive.merge.mapredfiles=false
hive.metastore.connect.retries=5
hive.fileformat.check=true
mapred.tasktracker.procfsbasedprocesstree.sleeptime-before-sigkill=5000
javax.jdo.option.DetachAllOnCommit=true
mapred.local.dir.minspacekill=0
hive.optimize.pruner=true
javax.jdo.option.ConnectionPassword=mine
hive.hwi.listen.host=0.0.0.0
io.sort.record.percent=0.05
hive.map.aggr.hash.percentmemory=0.5
fs.kfs.impl=org.apache.hadoop.fs.kfs.KosmosFileSystem
mapred.temp.dir=${hadoop.tmp.dir}/mapred/temp
mapred.tasktracker.reduce.tasks.maximum=2
javax.jdo.PersistenceManagerFactoryClass=org.datanucleus.jdo.JDOPersistenceManagerFactory
hive.mapred.local.mem=0
fs.checkpoint.edits.dir=${fs.checkpoint.dir}
mapred.job.reduce.input.buffer.percent=0.0
datanucleus.validateTables=false
mapred.tasktracker.indexcache.mb=10
hadoop.logfile.count=10
mapred.skip.reduce.auto.incr.proc.count=true

hive.script.auto.progress=false
io.seqfile.compress.blocksize=1000000
fs.s3.block.size=67108864
mapred.tasktracker.taskmemorymanager.monitoring-interval=5000
datanucleus.autoCreateSchema=true
mapred.acls.enabled=false
mapred.queue.names=default
fs.hsftp.impl=org.apache.hadoop.hdfs.HsftpFileSystem
hive.map.aggr=true
hive.enforce.bucketing=false
mapred.task.tracker.http.address=0.0.0.0:50060
mapred.reduce.parallel.copies=5
io.seqfile.lazydecompress=true
hive.exec.script.allow.partial.consumption=false
io.sort.mb=100
ipc.client.connection.maxidletime=10000
mapred.task.tracker.report.address=127.0.0.1:0
mapred.compress.map.output=false
hive.mapred.reduce.tasks.speculative.execution=true
ipc.client.kill.max=10
ipc.client.connect.max.retries=10
hive.heartbeat.interval=1000
fs.s3.impl=org.apache.hadoop.fs.s3.S3FileSystem
hive.mapjoin.maxsize=100000
mapred.job.tracker.http.address=0.0.0.0:50030
io.file.buffer.size=4096
mapred.jobtracker.restart.recover=false
io.serializations=org.apache.hadoop.io.serializer.WritableSerialization
hive.optimize.cp=true
javax.jdo.option.NonTransactionalRead=true
hive.exec.reducers.bytes.per.reducer=1000000000
mapred.reduce.copy.backoff=300
mapred.task.profile=false
jobclient.output.filter=FAILED
mapred.tasktracker.map.tasks.maximum=2
io.compression.codecs=org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec
fs.checkpoint.size=67108864

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1294158.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

hadoop安装与配置-shell脚本一键安装配置(集群版)

文章目录 前言一、安装准备1. 搭建集群 二、使用shell脚本一键安装1. 复制脚本2. 增加执行权限3. 分发脚本4. 执行脚本5. 加载用户环境变量 三、启动与停止1. 启动/停止hadoop集群(1) 复制hadoop集群启动脚本(2) 增加执行权限(3) 启动hadoop集群(4) 停止hadoop集群(5) 重启hado…

算法:合并两个有序数组(双指针)

/*** param {number[]} nums1* param {number} m* param {number[]} nums2* param {number} n* return {void} Do not return anything, modify nums1 in-place instead.*/ var merge function(nums1,m,nums2,n) {let p1 m-1 let p2 n-1let p mn-1// 逆遍历while(p1 > 0…

前端开发常用的Vscode插件整理(持续更新)

本文记录用vscode进行前端开发时,常用到的有用的vscode插件,将不定时更新~ 1、Chinese (Simplified) 将编辑器变成简体中文 2、vscode-icon 让 vscode 资源树目录加上图标,官方出品的图标库 3、Import Cost 引入包大小计算,对于…

深度学习——第3章 Python程序设计语言(3.3 Python数据类型)

3.3 Python数据类型 目录 1. Python数值数据类型 2. Python库的导入和使用 3. Python序列数据类型 4. Python组合数据类型 计算机能处理各种类型的数据,包括数值、文本等,不同的数据属于不同的数据类型,有不同的存储方式,支持…

使用Tomcat部署静态项目并处理BUG

--听讲的习惯 Tomcat介绍 tomcat what_Arenaschi的博客-CSDN博客 Tomcat安装及配置教程(超详细) 那些年我们用过的tomcat_Arenaschi的博客-CSDN博客 简单使用tomcat查看版本信息等_windows查看tomcat版本命令-CSDN博客 Tomcat部署html静态网站的五种方…

Android hook式插件化详解

引言 Android插件化是一种将应用程序的功能模块化为独立的插件,并动态加载到主应用程序中的技术。通过插件化,开发者可以将应用程序的功能分解成独立的模块,每个模块可以作为一个插件单独开发、测试和维护,然后通过动态加载的方式集成到主应用程序中,实现功能的动态扩展和…

骨传导耳机是怎么传声的?骨传导和入耳式哪个危害大一点?

先说结论,骨传导耳机通过人体骨骼来传递声音,骨传导和入耳式耳机,入耳式耳机的危害要大一些! 一、骨传导耳机传声原理 骨传导耳机利用骨传导技术,通过将声音转化为机械振动信号,然后通过头骨、颌骨等头骨…

第二十一章——网络通信总结

网络程序设计基础 局域网与互联网 为了实现两台计算机的通信,必须用一个网络线路连接两台计算机。如下图所示 网络协议 1.IP协议 IP是Internet Protocol的简称,是一种网络协议。Internet 网络采用的协议是TCP/IP协议,其全称是Transmission…

基于Java SSM框架实现二手车交易网站系统项目【项目源码+论文说明】

基于java的SSM框架实现二手车交易网站系统演示 摘要 二手车交易网站采用B/S模式,促进了二手车交易网站的安全、质量、快捷的发展。传统的管理模式还处于手工处理阶段,管理效率极低,随着用户的不断增多,传统基于手工管理模式已经无…

ECharts的颜色渐变

目录 一、直接配置参数实现颜色渐变 二、使用ECharts自带的方法实现颜色渐变 一、两种渐变的实现方法 1、直接配置参数实现颜色渐变 横向的渐变: //主要代码 option {xAxis: {type: category,boundaryGap: false,data: [Mon, Tue, Wed, Thu, Fri, Sat, Sun]},yA…

国产化软件突围!怿星科技eStation产品荣获2023铃轩奖“前瞻优秀奖”

11月11日,2023中国汽车供应链峰会暨第八届铃轩奖颁奖典礼在江苏省昆山市举行。怿星科技凭借eStation产品,荣获2023铃轩奖“前瞻智能座舱类优秀奖”,怿星CEO潘凯受邀出席铃轩奖晚会并代表领奖。 2023铃轩奖“前瞻智能座舱类优秀奖” 铃轩奖&a…

倚天屠龙:Github Copilot vs Cursor

武林至尊,宝刀屠龙。号令天下,莫敢不从。倚天不出,谁与争锋! 作为开发人员吃饭的家伙,一款好的开发工具对开发人员的帮助是无法估量的。还记得在学校读书的时候,当时流行CS架构的RAD,Delphi和V…

CDN是什么?对网站的作用大吗?

CDN即内容分发网络。CDN是构建在现有网络基础之上的智能虚拟网络,依靠部署在各地的边缘服务器,通过中心平台的负载均衡、内容分发、调度等功能模块,使用户就近获取所需内容,降低网络拥塞,提高用户访问响应速度和命中率…

带你解锁Python操作文件的姿势

什么是文件 文件是计算机中用于存储数据的一种数据结构。它可以是文本文件、图像文件、音频文件、视频文件等等。文件由一系列字节组成,每个字节都有一个唯一的地址。文件可以在计算机的硬盘、固态硬盘、光盘等存储介质上存储,并且可以在需要时被读取和…

2024 年甘肃省职业院校技能大赛信息安全管理与评估赛项规程

2024 年甘肃省职业院校技能大赛高职学生组电子与信息大类信息安全管理与评估赛项规程 一、赛项名称 赛项名称:信息安全管理与评估 赛项类别:团体赛 赛项归属:电子与信息大类 二、竞赛目的 极安云科专注技能竞赛,包含网络建设…

CentOS系统中设置反向代理服务器的步骤

在CentOS系统中设置反向代理服务器可以帮助你隐藏原始服务器的细节,并提高服务器的安全性。以下是在CentOS系统中设置反向代理服务器的步骤概述: 安装反向代理软件: 常见的反向代理软件包括Nginx和Apache。你可以选择其中之一来作为你的反向…

Java的Font类createFont方法创建 +~JF 临时文件

一、问题背景 有一个创建图片的项目,每个图片都包含很多的文字,项目中需要生成海量的这类图片。在windows电脑上运行程序发现C盘的存储空间不断下降,直至为0。 二、问题定位 1、定位磁盘的问题文件 当C盘存储空间为0时,使用《全…

针对Google 的 fuzzer-test-suite 的 pcre2-10.00 编译失败的解决方法

针对Google 的 fuzzer-test-suite 的 pcre2-10.00 编译失败的解决方法 查看文件 fuzzer-test-suite/pcre2-10.00/build.sh,文件内容如下: get_svn_revision svn://vcs.exim.org/pcre2/code/trunk 183 SRCbuild_lib build_fuzzer我们获悉,由…

OpenCvSharp从入门到实践-(07)绘制图形

目录 1、线段的绘制 1.1实例1-绘制线段拼成一个"王"字 2、矩形的绘制 2.1实例2-绘制一个矩形边框 2.2实例3-绘制一个实心矩形 3、圆的绘制 3.1实例4-绘制"交通灯" 4、多边形绘制 4.1实例5-绘制等腰梯形 5、文字的绘制 5.1实例6-绘制文字OpenCvS…

直流负载箱的技术发展趋势和创新有哪些?

直流负载箱广泛应用于电子、通信、航空航天等领域,随着科技的不断发展,直流负载箱也在不断创新和改进,直流负载箱在负载电流和电压的测量方面要求高精度和高稳定性。未来的发展趋势是提高负载箱的测量精度和稳定性,以满足更高要求…