Hive之数据定义DDL

news2025/2/3 7:31:31

Hive之数据定义DDL

文章目录

  • Hive之数据定义DDL
    • 写在前面
    • 创建数据库
    • 查询数据库
      • 显示数据库
      • 查看数据库详情
      • 切换当前数据库
    • 修改数据库
    • 删除数据库
    • 创建表
      • 管理表(内部表)
      • 外部表
      • 管理表与外部表的互相转换
    • 修改表
      • 重命名表
      • 增加、修改和删除表分区
      • 增加/修改/替换列信息
    • 删除表

写在前面

  • Linux版本：CentOS7.5
  • Hive版本：Hive-3.1.2

创建数据库

CREATE DATABASE [IF NOT EXISTS] database_name
[COMMENT database_comment]
[LOCATION hdfs_path]
[WITH DBPROPERTIES (property_name=property_value, ...)];

（1）创建一个数据库，数据库在HDFS上的默认存储路径是 /user/hive/warehouse/*.db。

hive (default)> create database db_hive;

（2）避免要创建的数据库已经存在错误，增加 if not exists判断。（标准写法）

hive (default)> create database db_hive;
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Database db_hive already exists
hive (default)> create database if not exists db_hive;

（3）创建一个数据库，指定数据库在HDFS上存放的位置

hive (default)> create database db_hive2 location '/db_hive2.db';

查询数据库

显示数据库

（1）显示数据库

hive> show databases;

（2）过滤显示查询的数据库

hive> show databases like 'db_hive*';
OK
db_hive
db_hive_1

查看数据库详情

（1）显示数据库信息

hive> desc database db_hive;
OK
db_hive		hdfs://wbd01:9000/user/hive/warehouse/db_hive.db	whybigdata USER

（2）显示数据库详细信息，extended

hive> desc database extended db_hive;
OK
db_hive		hdfs://wbd01:9000/user/hive/warehouse/db_hive.db	whybigdataUSER

切换当前数据库

hive (default)> use db_hive;

修改数据库

用户可以使用 ALTER DATABASE 命令为某个数据库的 DBPROPERTIES 设置键-值对属性值，来描述这个数据库的属性信息。

hive (default)> alter database db_hive set dbproperties('createtime'='20230421');

在hive中查看修改结果

hive> desc database extended db_hive;
db_name comment location        owner_name      owner_type      parameters
db_hive         hdfs://wbd01:8020/user/hive/warehouse/db_hive.db    whybigdata USER    {createtime=20170830}

删除数据库

（1）删除空数据库

hive>drop database db_hive2;

（2）如果删除的数据库不存在，最好采用 if exists 判断数据库是否存在

hive> drop database db_hive;
FAILED: SemanticException [Error 10072]: Database does not exist: db_hive
hive> drop database if exists db_hive2;

（3）如果数据库不为空，可以采用cascade命令，强制删除

hive> drop database db_hive;
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. InvalidOperationException(message:Database db_hive is not empty. One or more tables exist.)
hive> drop database db_hive cascade;

创建表

（1）建表语法

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name 
[(col_name data_type [COMMENT col_comment], ...)] 
[COMMENT table_comment] 
[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] 
[CLUSTERED BY (col_name, col_name, ...) 
[SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS] 
[ROW FORMAT row_format] 
[STORED AS file_format] 
[LOCATION hdfs_path]
[TBLPROPERTIES (property_name=property_value, ...)]
[AS select_statement]

（2）字段解释说明

  • CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在，则抛出异常；用户可以用 IF NOT EXISTS 选项来忽略这个异常。
  • EXTERNAL关键字可以让用户创建一个外部表，在建表的同时可以指定一个指向实际数据的路径（LOCATION），在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。
  • COMMENT：为表和列添加注释。
  • PARTITIONED BY创建分区表
  • CLUSTERED BY创建分桶表
  • SORTED BY不常用，对桶中的一个或多个列另外排序
  • ROW FORMAT
DELIMITED [FIELDS TERMINATED BY char] [COLLECTION ITEMS TERMINATED BY char]
        [MAP KEYS TERMINATED BY char] [LINES TERMINATED BY char] 
   | SERDE serde_name [WITH SERDEPROPERTIES (property_name=property_value, property_name=property_value, ...)]

用户在建表的时候可以 自定义SerDe 或者使用 自带的SerDe。如果没有指定ROW FORMAT 或者ROW FORMAT DELIMITED，将会使用自带的SerDe。在建表的时候，用户还需要为表指定列，用户在指定表的列的同时也会指定自定义的SerDe，Hive通过SerDe确定表的具体的列的数据。

SerDe是Serialize/Deserilize的简称， hive使用Serde进行行对象的序列与反序列化。

  • STORED AS指定存储文件类型

    常用的存储文件类型：SEQUENCEFILE（二进制序列文件）、TEXTFILE（文本）、RCFILE（列式存储格式文件）
    如果文件数据是纯文本，可以使用STORED AS TEXTFILE。如果数据需要压缩，使用 STORED AS SEQUENCEFILE。

  • LOCATION ：指定表在HDFS上的存储位置。

  • AS：后跟查询语句，根据查询结果创建表。

  • LIKE允许用户复制现有的表结构，但是不复制数据。

管理表(内部表)

（1）理论
默认创建的表都是所谓的管理表，有时也被称为内部表。因为这种表，Hive会（或多或少地）控制着数据的生命周期。Hive默认情况下会将这些表的数据存储在由配置项hive.metastore.warehouse.dir(例如，/user/hive/warehouse)所定义的目录的子目录下。当我们删除一个管理表时，Hive也会删除这个表中数据。管理表不适合和其他工具共享数据。
（2）案例实操

  • 原始数据
1001	ss1
1002	ss2
1003	ss3
1004	ss4
1005	ss5
1006	ss6
1007	ss7
1008	ss8
1009	ss9
1010	ss10
1011	ss11
1012	ss12
1013	ss13
1014	ss14
1015	ss15
1016	ss16
  • 普通创建表
create table if not exists student(
id int, name string
)
row format delimited fields terminated by '\t'
stored as textfile
location '/user/hive/warehouse/student';
  • 根据查询结果创建表（查询的结果会添加到新创建的表中）
create table if not exists student2 as select id, name from student;
  • 根据已经存在的表结构创建表
create table if not exists student3 like student;
  • 查询表的类型
hive (default)> desc formatted student2;
Table Type:             MANAGED_TABLE

外部表

（1）理论
因为表是外部表，所以Hive并非认为其完全拥有这份数据。删除该表并不会删除掉这份数据，不过描述表的元数据信息会被删除掉。
（2）管理表和外部表的使用场景
每天将收集到的网站日志定期流入HDFS文本文件。在外部表（原始日志表）的基础上做大量的统计分析，用到的中间表、结果表使用内部表存储，数据通过SELECT+INSERT进入内部表。
（3）案例实操
分别创建部门和员工外部表，并向表中导入数据。

  • 原始数据

dept:

10	ACCOUNTING	1700
20	RESEARCH	1800
30	SALES	1900
40	OPERATIONS	1700

emp：

7369	SMITH	CLERK	7902	1980-12-17	800.00		20
7499	ALLEN	SALESMAN	7698	1981-2-20	1600.00	300.00	30
7521	WARD	SALESMAN	7698	1981-2-22	1250.00	500.00	30
7566	JONES	MANAGER	7839	1981-4-2	2975.00		20
7654	MARTIN	SALESMAN	7698	1981-9-28	1250.00	1400.00	30
7698	BLAKE	MANAGER	7839	1981-5-1	2850.00		30
7782	CLARK	MANAGER	7839	1981-6-9	2450.00		10
7788	SCOTT	ANALYST	7566	1987-4-19	3000.00		20
7839	KING	PRESIDENT		1981-11-17	5000.00		10
7844	TURNER	SALESMAN	7698	1981-9-8	1500.00	0.00	30
7876	ADAMS	CLERK	7788	1987-5-23	1100.00		20
7900	JAMES	CLERK	7698	1981-12-3	950.00		30
7902	FORD	ANALYST	7566	1981-12-3	3000.00		20
7934	MILLER	CLERK	7782	1982-1-23	1300.00		10
  • 上传数据到HDFS
hive (default)> dfs -mkdir /student;
hive (default)> dfs -put /opt/module/datas/student.txt /student;
  • 建表语句，创建外部表

创建部门表

create external table if not exists dept(
deptno int,
dname string,
loc int
)
row format delimited fields terminated by '\t';

创建员工表

create external table if not exists emp(
empno int,
ename string,
job string,
mgr int,
hiredate string, 
sal double, 
comm double,
deptno int)
row format delimited fields terminated by '\t';
  • 查看创建的表
hive (default)>show tables;
  • 查看表格式化数据
hive (default)> desc formatted dept;
Table Type:             EXTERNAL_TABLE
  • 删除外部表
hive (default)> drop table dept;

外部表删除后，hdfs中的数据还在，但是metadata中dept的元数据已被删除

管理表与外部表的互相转换

  • 查询表的类型
hive (default)> desc formatted student2;
Table Type:             MANAGED_TABLE
  • 修改内部表student2为外部表
alter table student2 set tblproperties('EXTERNAL'='TRUE');
  • 查询表的类型
hive (default)> desc formatted student2;
Table Type:             EXTERNAL_TABLE
  • 修改外部表student2为内部表
alter table student2 set tblproperties('EXTERNAL'='FALSE');
  • 查询表的类型
hive (default)> desc formatted student2;
Table Type:             MANAGED_TABLE

注意：(‘EXTERNAL’=‘TRUE’)和(‘EXTERNAL’=‘FALSE’)为固定写法，区分大小写！

修改表

重命名表

  • 语法
ALTER TABLE table_name RENAME TO new_table_name
  • 实操案例
hive (default)> alter table order_goods rename to new_order_goods;

增加、修改和删除表分区

关于分区的内容，可以查看后续文章

增加/修改/替换列信息

（1）语法

  • 更新列
ALTER TABLE table_name CHANGE [COLUMN] col_old_name col_new_name column_type [COMMENT col_comment] [FIRST|AFTER column_name]
  • 增加和替换列
ALTER TABLE table_name ADD|REPLACE COLUMNS (col_name data_type [COMMENT col_comment], ...)

注：ADD是代表新增一字段，字段位置在所有列后面(partition列前)，REPLACE则是表示替换表中所有字段。

（2）实操案例

  • 查询表结构
hive> desc dept;
  • 添加列
hive (default)> alter table dept add columns(deptdesc string);
  • 查询表结构
hive> desc dept;
  • 更新列
hive (default)> alter table dept change column deptdesc desc string;
  • 查询表结构
hive> desc dept;
  • 替换列
hive (default)> alter table dept replace columns(deptno string, dname string, loc string);
  • 查询表结构
hive> desc dept;

删除表

hive (default)> drop table dept;

全文结束！！！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2291152.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

网络攻防实战指北专栏讲解大纲与网络安全法

网络攻防实战指北专栏讲解大纲与网络安全法

专栏 本专栏为网络攻防实战指北，大纲如下所示 进度：目前已更完准备篇、HTML基础 计划：所谓基础不牢，地动山摇。所以下一步将持续更新基础篇内容 讲解信息安全时，结合《中华人民共和国网络安全法》（以下简…
阅读更多...
Spark的基本概念

Spark的基本概念

个人博客地址：Spark的基本概念 | 一张假钞的真实世界 编程接口 RDD：弹性分布式数据集（Resilient Distributed Dataset ）。Spark2.0之前的编程接口。Spark2.0之后以不再推荐使用，而是被Dataset替代。Dataset&#xff…
阅读更多...
效用曲线的三个实例

效用曲线的三个实例

效用曲线的三个实例 文章目录 效用曲线的三个实例什么是效用曲线风险与回报：投资决策消费选择：价格与质量的平衡程序员绩效评估：准时与程序正确性 分析- 风险与回报：投资决策分析- 消费选择：价格与质量的平衡- 程序员绩…
阅读更多...
neo4j-community-5.26.0 create new database

neo4j-community-5.26.0 create new database

1.edit neo4j.conf 把 # The name of the default database initial.dbms.default_databasehonglouneo4j # 写上自己的数据库名称 和 # Name of the service #5.0 server.windows_service_nameneo4j #4.0 dbms.default_databaseneo4j #dbms.default_databaseneo4jwind serve…
阅读更多...
pytorch实现门控循环单元 (GRU）

pytorch实现门控循环单元 (GRU）

人工智能例子汇总：AI常见的算法和例子-CSDN博客 特性GRULSTM计算效率更快，参数更少相对较慢，参数更多结构复杂度只有两个门（更新门和重置门）三个门（输入门、遗忘门、输出门）处理长时依赖一般适…
阅读更多...
有没有个性化的UML图例

有没有个性化的UML图例

绿萝小绿萝 (53****338) 2012-05-10 11:55:45 各位大虾，有没有个性化的UML图例 绿萝小绿萝 (53****338) 2012-05-10 11:56:03 例如部署图或时序图的图例 潘加宇 (35***47) 2012-05-10 12:24:31 "个性化"指的是？ 你的意思使用你自己的图标&…
阅读更多...
Vue3.0实战：大数据平台可视化

Vue3.0实战：大数据平台可视化

文章目录 创建vue3.0项目项目初始化项目分辨率响应式设置项目顶部信息条创建页面主体创建全局引入echarts和axios后台接口创建express销售总量图实现完整项目下载项目任何问题都可在评论区，或者直接私信即可。 创建vue3.0项目 创建项目： vue create vueecharts选择第三项：…
阅读更多...
洛谷 P1130 红牌 C语言

洛谷 P1130 红牌 C语言

题目描述 某地临时居民想获得长期居住权就必须申请拿到红牌。获得红牌的过程是相当复杂，一共包括 N 个步骤。每一步骤都由政府的某个工作人员负责检查你所提交的材料是否符合条件。为了加快进程，每一步政府都派了 M 个工作人员来检查材料。不幸的是&…
阅读更多...
语音识别播报人工智能分类垃圾桶（论文+源码）

语音识别播报人工智能分类垃圾桶（论文+源码）

2.1 需求分析 本次语音识别播报人工智能分类垃圾桶，设计功能要求如下∶ 1、具有四种垃圾桶，分别为用来回收厨余垃圾，有害垃圾，可回收垃圾，其他垃圾。 2、当用户语音说出“旧报纸”，“剩菜”等特定词语时…
阅读更多...
MVC、MVP和MVVM模式

MVC、MVP和MVVM模式

MVC模式中，视图和模型之间直接交互，而MVP模式下，视图与模型通过Presenter进行通信，MVVM则采用双向绑定，减少手动同步视图和模型的工作。每种模式都有其优缺点，适合不同规模和类型的项目。 ### MVVM 与 MVP…
阅读更多...
shiro学习五：使用springboot整合shiro。在前面学习四的基础上，增加shiro的缓存机制，源码讲解：认证缓存、授权缓存。

shiro学习五：使用springboot整合shiro。在前面学习四的基础上，增加shiro的缓存机制，源码讲解：认证缓存、授权缓存。

文章目录 前言1. 直接上代码最后在讲解1.1 新增的pom依赖1.2 RedisCache.java1.3 RedisCacheManager.java1.4 jwt的三个类1.5 ShiroConfig.java新增Bean 2. 源码讲解。2.1 shiro 缓存的代码流程。2.2 缓存流程2.2.1 认证和授权简述2.2.2 AuthenticatingRealm.getAuthentication…
阅读更多...
属性编程与权限编程

属性编程与权限编程

问题 如何获取文件的大小，时间戳以及类型等信息？ 再论 inode 文件的物理载体是硬盘，硬盘的最小存储单元是扇区 (每个扇区 512 字节) 文件系统以 块 为单位(每个块 8 个扇区) 管理文件数据 文件元信息 (创建者、创建日期、文件大小&#x…
阅读更多...
用 HTML、CSS 和 JavaScript 实现抽奖转盘效果

用 HTML、CSS 和 JavaScript 实现抽奖转盘效果

顺序抽奖 前言 这段代码实现了一个简单的抽奖转盘效果。页面上有一个九宫格布局的抽奖区域，周围八个格子分别放置了不同的奖品名称，中间是一个 “开始抽奖” 的按钮。点击按钮后，抽奖区域的格子会快速滚动，颜色不断变化&#xf…
阅读更多...
R语言绘制有向无环图（DAG）

R语言绘制有向无环图（DAG）

有向无环图（Directed Acyclic Graph，简称DAG）是一种特殊的有向图，它由一系列顶点和有方向的边组成，其中不存在任何环路。这意味着从任一顶点出发，沿着箭头方向移动，你永远无法回到起始点。 从流…
阅读更多...
Spring Web MVC基础第一篇

Spring Web MVC基础第一篇

目录 1.什么是Spring Web MVC？ 2.创建Spring Web MVC项目 3.注解使用 3.1RequestMapping（路由映射） 3.2一般参数传递 3.3RequestParam（参数重命名） 3.4RequestBody（传递JSON数据） 3.5Pa…
阅读更多...
129.求根节点到叶节点数字之和（遍历思想）

129.求根节点到叶节点数字之和（遍历思想）

Problem: 129.求根节点到叶节点数字之和 文章目录 题目描述思路复杂度Code 题目描述 思路 遍历思想(利用二叉树的先序遍历) 直接利用二叉树的先序遍历，将遍历过程中的节点值先利用字符串拼接起来遇到根节点时再转为数字并累加起来，在归的过程中&#xf…
阅读更多...
unity中的动画混合树

unity中的动画混合树

为什么需要动画混合树，动画混合树有什么作用？ 在Unity中，动画混合树（Animation Blend Tree）是一种用于管理和混合多个动画状态的工具，包括1D和2D两种类型，以下是其作用及使用必要性的介绍&…
阅读更多...
MySQL存储过程和存储函数_mysql 存储过 call proc_stat_data(3,null)

MySQL存储过程和存储函数_mysql 存储过 call proc_stat_data(3,null)

2）很难调试存储过程。只有少数数据库管理系统允许调试存储过程。不幸的是，MySQL不提供调试存储过程的功能。 1.2 数据准备 创建数据库： DEFAULT CHARACTER SET utf8; use test;这里记得设置编码！ 创建测试表： DROP…
阅读更多...
Flink2支持提交StreamGraph到Flink集群

Flink2支持提交StreamGraph到Flink集群

最近研究Flink源码的时候，发现Flink已经支持提交StreamGraph到集群了，替换掉了原来的提交JobGraph。 新增ExecutionPlan接口，将JobGraph和StreamGraph作为实现。 Flink集群Dispatcher也进行了修改，从JobGraph改成了接口Executio…
阅读更多...
Vue 入门到实战 七

Vue 入门到实战 七

第7章 渲染函数 目录 7.1 DOM树 7.2 什么是渲染函数 7.3 h()函数 7.3.1 基本参数 7.3.2 约束 7.3.3 使用JavaScript代替模板功能 7.1 DOM树 7.2 什么是渲染函数 在多数情况下，Vue推荐使用模板template来创建HTML。然而在一些应用场景中，需要使用J…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023