hive location更新hive元数据表详解

news2025/1/10 3:28:26

1.hive location更新方式

一、通过修改表DDL：

alter table table_name set location 'hdfs://nm:8020/table_path'

二、直接修改hive 的meta info:

update `DBS` set `DB_LOCATION_URI` = replace(DB_LOCATION_URI,"oldpath","newpath")
 
update SDS  set location =replace(location,'oldpath,'newpath')

2. hive命令操作方式

hive分为内部表和外部表，两种表修改路径方式不一样。

内部表

设置新的路径

alter table tb_table1 set location 'hdfs://cluster/hive/warehouse/test.db/tb_table2

移动表的文件

hdfs dfs -mv /hive/warehouse/test.db/tb_table1 /hive/warehouse/test.db/tb_table2

外部表
因为外部表删除表并不会删除文件，所以可以先删除表

drop table table1;

移动文件到新位置

hdfs dfs -mv /hive/warehouse/test.db/tb_table1 /hive/warehouse/test.db/tb_table2

新建新表, 并且指定路径为新地址

create external table table2 (....) location '/hive/warehouse/test.db/table2'

恢复元数据

msck repair table table2;

3.1 存储Hive版本的元数据表（VERSION）

该表比较简单，但很重要。

VER_IDSCHEMA_VERSIONVERSION_COMMENT
ID主键Hive版本版本说明
10.13.0Set by MetaStore

如果该表出现问题，根本进入不了Hive-Cli。

比如该表不存在，当启动Hive-Cli时候，就会报错”Table ‘hive.version’ doesn’t exist”。

3.2 Hive数据库相关的元数据表（DBS、DATABASE_PARAMS）

  • DBS

该表存储Hive中所有数据库的基本信息，字段如下：

元数据表字段说明示例数据
DB_ID数据库ID2
DESC数据库描述测试库
DB_LOCATION_URI数据库HDFS路径hdfs://namenode/user/hive/warehouse/lxw1234.db
NAME数据库名lxw1234
OWNER_NAME数据库所有者用户名lxw1234
OWNER_TYPE所有者角色USER

  • DATABASE_PARAMS

该表存储数据库的相关参数，在CREATE DATABASE时候用

WITH DBPROPERTIES (property_name=property_value, …)指定的参数。

元数据表字段说明示例数据
DB_ID数据库ID2
PARAM_KEY参数名createdby
PARAM_VALUE参数值lxw1234

DBS和DATABASE_PARAMS这两张表通过DB_ID字段关联。

3.3 Hive表和视图相关的元数据表

主要有TBLS、TABLE_PARAMS、TBL_PRIVS，这三张表通过TBL_ID关联。

  • TBLS

该表中存储Hive表、视图、索引表的基本信息。

元数据表字段说明示例数据
TBL_ID表ID1
CREATE_TIME创建时间1436317071
DB_ID数据库ID2，对应DBS中的DB_ID
LAST_ACCESS_TIME上次访问时间1436317071
OWNER所有者liuxiaowen
RETENTION保留字段0
SD_ID序列化配置信息86，对应SDS表中的SD_ID
TBL_NAME表名lxw1234
TBL_TYPE表类型MANAGED_TABLE、EXTERNAL_TABLE、INDEX_TABLE、VIRTUAL_VIEW
VIEW_EXPANDED_TEXT视图的详细HQL语句select `lxw1234`.`pt`, `lxw1234`.`pcid` from `liuxiaowen`.`lxw1234`
VIEW_ORIGINAL_TEXT视图的原始HQL语句select * from lxw1234

  • TABLE_PARAMS

该表存储表/视图的属性信息。

元数据表字段说明示例数据
TBL_ID表ID1
PARAM_KEY属性名totalSize、numRows、EXTERNAL
PARAM_VALUE属性值970107336、21231028、TRUE

  • TBL_PRIVS

该表存储表/视图的授权信息

元数据表字段说明示例数据
TBL_GRANT_ID授权ID1
CREATE_TIME授权时间1436320455
GRANT_OPTION0
GRANTOR授权执行用户liuxiaowen
GRANTOR_TYPE授权者类型USER
PRINCIPAL_NAME被授权用户username
PRINCIPAL_TYPE被授权用户类型USER
TBL_PRIV权限Select、Alter
TBL_ID表ID22，对应TBLS表中的TBL_ID

3.4 Hive文件存储信息相关的元数据表

主要涉及SDS、SD_PARAMS、SERDES、SERDE_PARAMS

由于HDFS支持的文件格式很多，而建Hive表时候也可以指定各种文件格式，Hive在将HQL解析成MapReduce时候，需要知道去哪里，使用哪种格式去读写HDFS文件，而这些信息就保存在这几张表中。

  • SDS

该表保存文件存储的基本信息，如INPUT_FORMAT、OUTPUT_FORMAT、是否压缩等。

TBLS表中的SD_ID与该表关联，可以获取Hive表的存储信息。

元数据表字段说明示例数据
SD_ID存储信息ID1
CD_ID字段信息ID21，对应CDS表
INPUT_FORMAT文件输入格式org.apache.hadoop.mapred.TextInputFormat
IS_COMPRESSED是否压缩0
IS_STOREDASSUBDIRECTORIES是否以子目录存储0
LOCATIONHDFS路径hdfs://namenode/hivedata/warehouse/ut.db/t_lxw
NUM_BUCKETS分桶数量5
OUTPUT_FORMAT文件输出格式org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
SERDE_ID序列化类ID3，对应SERDES表

  • SD_PARAMS

该表存储Hive存储的属性信息，在创建表时候使用

STORED BY ‘storage.handler.class.name’ [WITH SERDEPROPERTIES (…)指定。

元数据表字段说明示例数据
SD_ID存储配置ID1
PARAM_KEY存储属性名
PARAM_VALUE存储属性值
  • SERDES

该表存储序列化使用的类信息

元数据表字段说明示例数据
SERDE_ID序列化类配置ID1
NAME序列化类别名
SLIB序列化类org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe

  • SERDE_PARAMS

该表存储序列化的一些属性、格式信息,比如：行、列分隔符

元数据表字段说明示例数据
SERDE_ID序列化类配置ID1
PARAM_KEY属性名field.delim
PARAM_VALUE属性值,

3.5 Hive表字段相关的元数据表

主要涉及COLUMNS_V2

  • COLUMNS_V2

该表存储表对应的字段信息。

元数据表字段说明示例数据
CD_ID字段信息ID1
COMMENT字段注释
COLUMN_NAME字段名pt
TYPE_NAME字段类型string
INTEGER_IDX字段顺序2

3.6 Hive表分区相关的元数据表

主要涉及PARTITIONS、PARTITION_KEYS、PARTITION_KEY_VALS、PARTITION_PARAMS

  • PARTITIONS

该表存储表分区的基本信息。

元数据表字段说明示例数据
PART_ID分区ID1
CREATE_TIME分区创建时间
LAST_ACCESS_TIME最后一次访问时间
PART_NAME分区名pt=2015-06-12
SD_ID分区存储ID21
TBL_ID表ID2
  • PARTITION_KEYS

该表存储分区的字段信息。

元数据表字段说明示例数据
TBL_ID表ID2
PKEY_COMMENT分区字段说明
PKEY_NAME分区字段名pt
PKEY_TYPE分区字段类型string
INTEGER_IDX分区字段顺序1

  • PARTITION_KEY_VALS

该表存储分区字段值。

元数据表字段说明示例数据
PART_ID分区ID2
PART_KEY_VAL分区字段值2015-06-12
INTEGER_IDX分区字段值顺序0

  • PARTITION_PARAMS

该表存储分区的属性信息。

元数据表字段说明示例数据
PART_ID分区ID2
PARAM_KEY分区属性名numFiles、numRows
PARAM_VALUE分区属性值15、502195

3.7 其他不常用的元数据表

  • DB_PRIVS

数据库权限信息表。通过GRANT语句对数据库授权后，将会在这里存储。

  • IDXS

索引表，存储Hive索引相关的元数据

  • INDEX_PARAMS

索引相关的属性信息。

  • TAB_COL_STATS

表字段的统计信息。使用ANALYZE语句对表字段分析后记录在这里。

  • TBL_COL_PRIVS

表字段的授权信息

  • PART_PRIVS

分区的授权信息

  • PART_COL_STATS

分区字段的统计信息。

  • PART_COL_PRIVS

分区字段的权限信息。

  • FUNCS

用户注册的函数信息

  • FUNC_RU

用户注册函数的资源信息

3.8 示例

建表语句：

CREATE TABLE lxw1234 (
 cookieid STRING,
 url STRING,
 ua STRING,
 ip STRING,
 createtime STRING
) 
COMMENT 'This is the page view table' 
partitioned BY (day STRING,site STRING) 
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY ',' 
stored AS ORC;

建表执行之后，元数据中以下表的数据会有所变化：

  • TBLS

生成了表lxw1234的基本信息

SELECT * FROM TBLS WHERE TBL_NAME = ‘lxw1234’;

元数据表字段数据
TBL_ID41509
CREATE_TIME1436324659
DB_ID11
LAST_ACCESS_TIME0
OWNERliuxiaowen
RETENTION0
SD_ID91740
TBL_NAMElxw1234
TBL_TYPEMANAGED_TABLE
VIEW_EXPANDED_TEXTNULL
VIEW_ORIGINAL_TEXTNULL

  • TABLE_PARAMS

select  *  from  TABLE_PARAMS  WHERE  TBL_ID=41509

TBL_IDPARAM_KEYPARAM_VALUE
41509commentThis is the page view table
41509transient_lastDdlTime1436324659

  • SDS

SELECT * FROM SDS WHERE SD_ID = 91740

元数据表字段数据
SD_ID91740
CD_ID41564
INPUT_FORMATorg.apache.hadoop.hive.ql.io.orc.OrcInputFormat
IS_COMPRESSED0
IS_STOREDASSUBDIRECTORIES0
LOCATIONhdfs://namenode/hivedata/warehouse/liuxiaowen.db/lxw1234
NUM_BUCKETS-1
OUTPUT_FORMATorg.apache.hadoop.hive.ql.io.orc.OrcOutputFormat
SERDE_ID91740
  • SERDES

select * from SERDES WHERE SERDE_ID = 91740

元数据表字段数据
SERDE_ID91740
NAME
SLIBorg.apache.hadoop.hive.ql.io.orc.OrcSerde

  • SERDE_PARAMS

select * from  SERDE_PARAMS  WHERE  SERDE_ID=91740

SERDE_IDPARAM_KEYPARAM_VALUE
91740field.delim,
91740serialization.format,

  • COLUMNS_V2

select * from COLUMNS_V2 WHERE CD_ID=41564 ORDER BY INTEGER_IDX

CD_IDCOMMENTCOLUMN_NAMETYPE_NAMEINTEGER_IDX
41564cookieidstring0
41564urlstring1
41564uastring2
41564ipstring3
41564createtimestring4

  • PARTITION_KEYS

select * from  PARTITION_KEYS  WHERE  TBL_ID=41509

TBL_IDPKEY_COMMENTPKEY_NAMEPKEY_TYPEINTEGER_IDX
41509daystring0
41509sitestring1

再插入数据：

INSERT OVERWRITE TABLE lxw1234 PARTITION (day = '2015-07-08', site = 'test.com') 
SELECT 
'cookie1' AS cookieid,
'http://test.com' AS url,
'firefox' AS ua,
'127.0.0.1' AS ip,
'2015-07-08 11:00:01' AS createtime 
FROM dual 
limit 1;

插入数据执行完之后，以下表的元数据发生变化：

  • PARTITIONS

select * from  `PARTITIONS`  WHERE  TBL_ID=41509

PART_IDCREATE_TIMELAST_ACCESS_TIMEPART_NAMESD_IDTBL_ID
5447214363258120day=2015-07-08/site=lxw1234.com9174641509
  • SDS

select *  from  SDS  WHERE  SD_ID=91746

注意：这里的存储和表的存储是不同的，因为每个分区也会有一个SD

元数据表字段数据
SD_ID91746
CD_ID41564
INPUT_FORMATorg.apache.hadoop.hive.ql.io.orc.OrcInputFormat
IS_COMPRESSED0
IS_STOREDASSUBDIRECTORIES0
LOCATIONhdfs://namenode/hivedata/warehouse/liuxiaowen.db/lxw1234/day=2015-07-08/site=lxw1234.com
NUM_BUCKETS-1
OUTPUT_FORMATorg.apache.hadoop.hive.ql.io.orc.OrcOutputFormat
SERDE_ID91746

  • PARTITION_KEY_VALS

select  *  from  PARTITION_KEY_VALS  where  PART_ID=54472

PART_IDPART_KEY_VALINTEGER_IDX
544722015-07-080
54472lxw1234.com1

  • PARTITION_PARAMS

select * from PARTITION_PARAMS where PART_ID = 54472

PART_IDPARAM_KEYPARAM_VALUE
54472COLUMN_STATS_ACCURATEtrue
54472numFiles1
54472numRows1
54472rawDataSize408
54472totalSize703
54472transient_lastDdlTime1436325813

在分区的属性里面，生成的该分区的统计信息（Statistics）。

 

 参考：https://www.cnblogs.com/qingyunzong/p/8710356.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/999575.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

如何将两台Mac显示器设置为单个屏幕配置

如何将两台Mac显示器设置为单个屏幕配置

​能够在扩展模式下将两个或多个外部显示器连接到Mac是一种解放的屏幕体验，但当每个显示器仍然像独立显示器一样工作时，会导致沮丧。 在这里，我们向你展示如何通过对系统设置进行一些简单的更改，使两个扩展屏幕看起来像一个屏幕。…
阅读更多...
如何get一个终身免费续期的定制数字人？

如何get一个终身免费续期的定制数字人？

想拥有一个“数字分身” 吗？给你一个终身免费续期的特权。 定制周期长？训练、运营成本高？成片效果生硬？无法应用于实际场景？ 随着AIGC技术的快速发展，虚拟数字人的生成效率不断提高，训练成本逐…
阅读更多...
Android平台GB28181接入SDK

Android平台GB28181接入SDK

华脉智联推出的Android平台GB28181接入SDK，可实现不具备国标音视频能力的 Android终端，通过平台注册接入到现有的GB/T28181—2016服务，可用于如执法记录仪、智能安全帽、智能监控、智慧零售、智慧教育、远程办公、明厨亮灶、智慧交通、智慧工…
阅读更多...
苹果和富士康加速撤离的后果显现了，或将失去中国这个最大市场

苹果和富士康加速撤离的后果显现了，或将失去中国这个最大市场

日前网络流传的消息指特定群体将不能在公众场合使用iPhone，这直接导致苹果的市值暴跌万亿元人民币，凸显出中国市场对苹果的巨大影响，如今中国已是苹果最大的收入来源市场，今年二季度中国首次超过美国成为iPhone销量第一的市场。 苹…
阅读更多...
网络协议百科全书：28张图带你搞懂TCP

网络协议百科全书：28张图带你搞懂TCP

大家好，我的网工朋友。 不仅仅是网工，只要你是做IT相关的工作，肯定都离不开网络。 那网络中最重要的协议，大概非TCP莫属，谁去面试没被问过网络协议的相关问题？ 谁没买过那本最经典的《TCP/IP详解》 。 …
阅读更多...
HAM高可用配置及故障切换

HAM高可用配置及故障切换

1．什么是 MHA MHA（MasterHigh Availability）是一套优秀的MySQL高可用环境下故障切换和主从复制的软件。 MHA 的出现就是解决MySQL 单点的问题。 MySQL故障切换过程中，MHA能做到0-30秒内自动完成故障切换操作。 MHA能在故障切换的…
阅读更多...
AIGC：【LLM（七）】——Baichuan2：真开源可商用的中文大模型

AIGC：【LLM（七）】——Baichuan2：真开源可商用的中文大模型

文章目录 一.模型介绍二.模型部署2.1 CPU部署2.2 GPU部署 三.模型推理3.1 Chat 模型推理3.2 Base 模型推理 四.模型量化4.1 量化方法4.2 在线量化4.3 离线量化4.4 量化效果 五.模型微调5.1 依赖安装5.2 单机训练5.3 多机训练5.4 轻量化微调 一.模型介绍 Baichuan 2 是百川智能…
阅读更多...
Learning From Data 中英文对照 1.THE LEARNING PROBLEM （第6页）

Learning From Data 中英文对照 1.THE LEARNING PROBLEM （第6页）

1.1. PROBLEM SETUP 图1.3：在二维输入空间中直线可分数据的感知器分类(A)一些训练示例将被错误分类(红色区域的蓝色点，反之亦然)，用于定义分离线的权重参数的某些值。(B)。最后一种假设将所有的训练样本分类正确。(O是1，x是-1) …
阅读更多...
基于Python和mysql开发的今天吃什么微信小程序(源码+数据库+程序配置说明书+程序使用说明书)

基于Python和mysql开发的今天吃什么微信小程序(源码+数据库+程序配置说明书+程序使用说明书)

一、项目简介 本项目是一套基于Python和mysql开发的今天吃什么微信小程序(，主要针对计算机相关专业的正在做毕设的学生与需要项目实战练习的Python学习者。 包含：项目源码、项目文档、数据库脚本等，该项目附带全部源码可作为毕设使用。 项目…
阅读更多...
Android USB电源管理

Android USB电源管理

The USB peripheral detects the lack of 3 consecutive SOF packets as a suspend request from the USB host. 1 驱动shutdown顺序 系统关机或重启的过程中，会调用设备驱动的shutdown函数来完成设备的关闭操作，有需要的设备可以在驱动中定义该函数。其…
阅读更多...
【实操干货】如何开始用Qt Widgets编程？（五）

【实操干货】如何开始用Qt Widgets编程？（五）

Qt 是目前最先进、最完整的跨平台C开发工具。它不仅完全实现了一次编写，所有平台无差别运行，更提供了几乎所有开发过程中需要用到的工具。如今，Qt已被运用于超过70个行业、数千家企业，支持数百万设备及应用。 在本文中&#xff0…
阅读更多...
PHPWord 模板输出checkbox复选框和checked已勾选状态，以及 模板替换时数据如何分行

PHPWord 模板输出checkbox复选框和checked已勾选状态，以及 模板替换时数据如何分行

PHPWord 模板输出checkbox复选框和checked已勾选状态，以及 模板替换时数据如何分行 期望目标 和 模板配置复选框代码数据分行显示在使用PHPWORD模板替换时，经常会有 动态渲染选择项 和 选择项需要被勾选的要求，以及动态数据分行显示等要求。 本文根据 空复选框、勾选复选框…
阅读更多...
加强身份验证安全性：深入了解身份证二要素核验API

加强身份验证安全性：深入了解身份证二要素核验API

前言 在数字化时代，随着在线业务和电子交易的不断增加，确保用户的身份安全变得至关重要。身份验证是许多行业的核心要素，从金融机构到电子商务，从社交媒体到医疗保健，都需要有效的方式来确认用户的真实身份。传统的用…
阅读更多...
《向量数据库指南》——向量数据库的底层原理是什么？

《向量数据库指南》——向量数据库的底层原理是什么？

向量数据库的底层实现原理可以根据具体的数据库系统和索引方法而有所不同。不同的向量数据库可能使用不同的数据结构和算法来支持高效的向量存储和相似性搜索。以下是一些常见的底层实现原理和概念： 1、向量存储： 数据结构：向量数据库通常使用数据结构来存储向量数据。这些数…
阅读更多...
MOTOROLA MVME5500 电源模块

MOTOROLA MVME5500 电源模块

MOTOROLA MVME5500 MOTOROLA MVME5500 电源模块通常是用于 MVME5500 控制主板模块的附属设备，其主要功能是为主板和相关外围设备提供电力供应和管理。以下是通常情况下MOTOROLA MVME5500 电源模块的产品功能： 电源输出：MOTOROLA MVME5500 电源…
阅读更多...
在Ubuntu上建立博客网站，利用Cpolar+Inis快速实现专业写作

在Ubuntu上建立博客网站，利用Cpolar+Inis快速实现专业写作

文章目录 前言1. Inis博客网站搭建1.1. Inis博客网站下载和安装1.2 Inis博客网站测试1.3 cpolar的安装和注册 2. 本地网页发布2.1 Cpolar临时数据隧道2.2 Cpolar稳定隧道（云端设置）2.3.Cpolar稳定隧道（本地设置） 3. 公网访问测试总…
阅读更多...
从 Clickhouse 到 Apache Doris：有赞业务场景下性能测试与迁移验证

从 Clickhouse 到 Apache Doris：有赞业务场景下性能测试与迁移验证

本文导读： 当前，电商运营的主要痛点不仅来自多变的市场和客户需求，也受困于碎片化用户触达等带来的竞争与挑战。为了深度挖掘用户价值、培养用户忠诚度、实现业绩增长，有赞为商家搭建了全方位 OLAP 分析系统，提供实时…
阅读更多...
mysql技术文档--mysql锁专精--锁全解！！！

mysql技术文档--mysql锁专精--锁全解！！！

简单认识： 在使用MySQL数据库时，锁可用于控制并发访问和修改数据库中的数据。它们确保在某个事务正在读取或修改数据时，其他事务不能同时对同一数据进行读取或修改操作。 MySQL提供了多种类型的锁，包括共享锁（Shared …
阅读更多...
Spring Cloud学习笔记【消息总线-SpringCloud Bus】

Spring Cloud学习笔记【消息总线-SpringCloud Bus】

SpringCloud Bus概述 概述 Spring Cloud Bus是Spring Cloud生态系统中的一个组件，用于实现微服务架构中的消息总线。它利用了轻量级消息代理（如RabbitMQ或Kafka）作为通信中间件，实现了在分布式系统中的消息传递和事件广播。 Sp…
阅读更多...
FOXBORO FBM230 P0926GU通讯卡

FOXBORO FBM230 P0926GU通讯卡

通信接口：FBM230 P0926GU 通讯卡通常支持多种通信接口，如以太网、Modbus、Profibus、DeviceNet 等，以便与其他设备和控制系统进行数据通信和集成。 数据传输：它们用于在自动化系统中传输数据，包括监测和控制数据、传感…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023