Hive05_DML 操作

news2024/11/27 22:31:19

1 DML 数据操作

1.1 数据导入

1.1.1 向表中装载数据(Load)

1)语法

hive> load data [local] inpath '数据的 path' [overwrite] into table 
student [partition (partcol1=val1,)];

(1)load data:表示加载数据
(2)local:表示从本地加载数据到 hive 表;否则从 HDFS 加载数据到 hive 表
(3)inpath:表示加载数据的路径
(4)overwrite:表示覆盖表中已有数据,否则表示追加
(5)into table:表示加载到哪张表
(6)student:表示具体的表

(7)partition:表示上传到指定分区

1.1.2 案例实操

1 创建一张表

 create table student1(id string, name string) row format delimited fields terminated by '\t';

分别使用insert和put方式,各添加3条数据

查询表中的总数据条数

select count(id) from student1;

2 创建同样结构的一张表

 create table student2(id string, name string) row format delimited fields terminated by '\t';

使用load添加数据

load data local inpath '/usr/soft/datas/data3' into table student2;

再次查询表中的总数据条数

select count(id) from student2;

(3)加载 HDFS 文件到 hive 中

上传文件到 HDFS

[root@hadoop2 datas]# hadoop fs -put /usr/soft/datas/data3 /user/
或者
hive (default)> dfs -put /usr/soft/datas/data3 /user/;

在这里插入图片描述

加载 HDFS 上数据

hive (default)> load data inpath '/user/data3' into table student2;

(4)加载数据覆盖表中已有的数据
上传文件到 HDFS

hive (default)> dfs -put /usr/soft/datas/data4 /user/;

加载数据覆盖表中已有的数据

hive (default)> load data inpath '/user/data3' overwrite into table student2;

1.2 通过查询语句向表中插入数据(Insert)

1)创建一张表
hive (default)> create table student(id int, name string) row format delimited fields terminated by '\t';

2)基本插入数据
hive (default)> insert into table student_par values(1,'wangwu'),(2,'zhaoliu');

3)基本模式插入(根据单张表查询结果)
hive (default)> insert into table student_par select id, name from student2 where name='tom';

hive (default)> insert overwrite table student_par select id, name from student2 where name='tom';

insert into:以追加数据的方式插入到表或分区,原有数据不会删除
insert overwrite:会覆盖表中已存在的数据
注意:insert 不支持插入部分字段

1.3 查询语句中创建表并加载数据(As Select)

根据查询结果创建表(查询的结果会添加到新创建的表中)

create table if not exists student3 as select id, name from student2;

1.4 创建表时通过 Location 指定加载数据路径

1)上传数据到 hdfs 上

hive (default)> dfs -mkdir /student;
hive (default)> dfs -put /usr/soft/data3/student.txt /student;

2)创建表,并指定在 hdfs 上的位置

hive (default)> create external table if not exists student5(
 id int, name string)
 row format delimited fields terminated by '\t'
 location '/student;

3)查询数据

hive (default)> select * from student5;

2 DML 数据导出

2.1 Insert 导出

1)将查询的结果导出到本地

hive (default)> insert overwrite local directory '/usr/soft/datas/export/student2' 
select * from student2;

2)将查询的结果格式化导出到本地

hive(default)>insert overwrite local directory  '/usr/soft/datas/export/student3' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' select * from student2;

3)将查询的结果导出到 HDFS 上(没有 local)

hive (default)> insert overwrite directory '/user/hive/student4' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'  select * from student2;

2.2 Hive Shell 命令导出

基本语法:(hive -f/-e 执行语句或者脚本 > file)

[root@hadoop2 hive]# bin/hive -e 'select * from default.mystudent;' > /usr/soft/datas/export/student4.txt;

2.3 Export 导出到 HDFS 上

(defahiveult)> export table default.mystudent to '/user/hive/warehouse/export/student';

export 和 import 主要用于两个 Hadoop 平台集群之间 Hive 表迁移。

2.4 清除表中数据(Truncate)

注意:Truncate 只能删除管理表,不能删除外部表中数据

hive (default)> truncate table student2;

t.mystudent to ‘/user/hive/warehouse/export/student’;



export 和 import 主要用于两个 Hadoop 平台集群之间 Hive 表迁移。



### 2.4 清除表中数据(Truncate)

注意:Truncate 只能删除管理表,不能删除外部表中数据

```sql
hive (default)> truncate table student2;

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1342278.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Matplotlib、Pandas可视化工具

一、Matplotlib 1.简介: 数据可视化可以看到变量的分布和变量之间的关系,还可以检查建模过程中的假设。Python 提供了若干种用于绘图的扩展包,包括:Matplotlib、 Pandas、 ggplot 和 Seaborn等。Matplotlib 是最基础的扩展包,它…

CUDA驱动深度学习发展 - 技术全解与实战

全面介绍CUDA与pytorch cuda实战 关注TechLead,分享AI全维度知识。作者拥有10年互联网服务架构、AI产品研发经验、团队管理经验,同济本复旦硕,复旦机器人智能实验室成员,阿里云认证的资深架构师,项目管理专业人士&…

利用全面预算管理,构建企业数智化管理体系

财务团队对于一个企业的发展来说一直承担着巨大的压力,特别是当今的经济世态,财务管理被赋予比以往任何时候更高的期望。为了提高运营效率,降低管理成本,企业朝着数智化的方向逐渐靠拢。其中,全面预算管理的潜在价值是…

Walker S敲锣,人形机器人第一股优必选在港交所主板挂牌上市

12月29日,优必选(股份代码:9880.HK)正式在香港交易所主板挂牌上市,股价最高达91港元,对应市值约380亿港元。 图片1:从左至右依次为:香港交易所联席营运总监陈翊庭,香港联…

1.Linux快速入门

Linux快速入门 Linux操作系统简介Linux操作系统优点Linux操作系统发行版1. Red Hat Linux2. CentOS3. Ubuntu4. SUSE Linux5. Fedora Linux 32位与64位操作系统的区别Linux内核命名规则 Linux操作系统简介 Linux操作系统是基于UNIX以网络为核心的设计思想,是一个性…

禁止浏览器记住密码和自动填充 element-ui+vue

vue 根据element-ui 自定义密码输入框&#xff0c;防止浏览器 记住密码和自动填充 <template><divclass"el-password el-input":class"[size ? el-input-- size : , { is-disabled: disabled }]"><inputclass"el-input__inner"…

ssm基于JAVA的学生在线考试系统+vue论文

摘 要 如今社会上各行各业&#xff0c;都喜欢用自己行业的专属软件工作&#xff0c;互联网发展到这个时候&#xff0c;人们已经发现离不开了互联网。新技术的产生&#xff0c;往往能解决一些老技术的弊端问题。因为传统考试信息管理难度大&#xff0c;容错率低&#xff0c;管理…

目标检测-One Stage-SSD

文章目录 前言一、SSD的网络结构和流程二、SSD的创新点总结 前言 根据前文目标检测-Two Stage-YOLOv1可以看出YOLOv1的主要缺点是&#xff1a; 每个格子针对目标框的回归是不加限制的&#xff0c;导致目标的定位并不是很精准和Faster RCNN等先进Two Stage算法相比&#xff0c…

1.DQL查询数据(超重点)以及distinct(去重)

DQL(Data Query Language:数据查询语言) 1.所有查询操作都用 SELECT 2.无论是简单的查询还是复杂的查询它都能做 3.数据库中最核心的语言&#xff0c;最重要的语句 4.使用频率最高的语句 语法&#xff1a; SELECT 字段1&#xff0c;字段2&#xff0c;……FROM 表 有时候…

GitHub教程-自定义个人页制作

GitHub是全球最大的代码托管平台&#xff0c;除了存放代码&#xff0c;它还允许用户个性化定制自己的主页&#xff0c;展示个人特色、技能和项目。本教程旨在向GitHub用户展示如何制作个性化主页&#xff0c;同时&#xff0c;介绍了GitHub Actions的应用&#xff0c;可以自动化…

2023-12-29 工作心得补充 适时抽取方法,让代码变简洁

1 JSONObject 实际上是个map 2 数据库实际上也是map 只不过map 是竖着写&#xff0c;数据库横着写. 3 像 用户名 密码 这种后续可能随时会改的&#xff0c;不要写死在代码里&#xff0c;都写成nacos参数。 4 方法的抽取 让代码变得简洁 可读性很高。这是方法抽取的秘诀。写文…

力扣题目学习笔记(OC + Swift)25. K 个一组翻转链表

K 个一组翻转链表 给你链表的头节点 head &#xff0c;每 k 个节点一组进行翻转&#xff0c;请你返回修改后的链表。 k 是一个正整数&#xff0c;它的值小于或等于链表的长度。如果节点总数不是 k 的整数倍&#xff0c;那么请将最后剩余的节点保持原有顺序。 你不能只是单纯的改…

2024年U.S.News全美最佳大学排名公布(附top100榜单)

9月18日&#xff0c;《美国新闻与世界报道》正式发布了最新的2024全美最佳综合大学排名。知识人网小编整理并附上top100的学校榜单&#xff0c;以供访问学者、博士后及联合培养博士们参考。 2024 US News 排名机制调整 U.S. News的排名综合考虑了包括录取率、师生比例、学生标…

大创项目推荐 深度学习中文汉字识别

文章目录 0 前言1 数据集合2 网络构建3 模型训练4 模型性能评估5 文字预测6 最后 0 前言 &#x1f525; 优质竞赛项目系列&#xff0c;今天要分享的是 &#x1f6a9; 深度学习中文汉字识别 该项目较为新颖&#xff0c;适合作为竞赛课题方向&#xff0c;学长非常推荐&#xf…

Qt Designer中各个模块的详细介绍,小白一看就会!!第一部分——layouts模块与Spacers模块

Qt Designer 第一部分&#xff1a;layouts介绍第二部分&#xff1a;Spacers介绍总结&#xff08;非小白可忽略&#xff09; 第一部分&#xff1a;layouts介绍 Qt Designer中的layouts模块提供了多种布局方式&#xff0c;包括垂直布局、水平布局、网格布局和表单布局。这些布局…

音画欣赏|《河水不犯井水的游戏》

《河水不犯井水的游戏》 尺寸&#xff1a;130x90cm 陈可之2007年绘 《警示贤文》之人和篇 天时不如地利&#xff0c;地利不如人和。 黄金未为贵&#xff0c;安乐值钱多。 钱财如粪土&#xff0c;仁义值千斤。 两人一般心&#xff0c;有钱堪买金。 一人一般心&#xff0c;无…

HTML+CSS+JS网页设计期末课程大作业 web课程设计 web前端开发 网页规划与设计

HTMLCSSJS网页设计期末课程大作业 web前端开发技术 web课程设计 网页规划与设计 &#x1f4a5; 文章目录一、&#x1f6a9; 网站描述二、&#x1f38c; 网站介绍三、&#x1f3f4; 网站类型A 个人博客主题B 人物明星主题C 旅游主题D 游戏主题E 动漫主题F 美食主题G 校园主题H 企…

记一次修复外网无法访问vmware里面的虚拟机的网络端口的问题

发现一个奇怪的网络问题&#xff0c;vmware里一个程序的端口通过vmnat穿透出来&#xff0c;然后这个端口就能够通过局域网被其他机器访问&#xff0c;但是另一个网段就没法访问这个端口。使用主机上的其他程序使用开启同样的端口&#xff0c;另一个网段的机器却可以访问。我想不…

探索 EndNote:卓越文献管理工具的功能与应用

引言 在当今科研与学术写作的领域&#xff0c;文献管理是每一位研究者都不可避免面对的挑战。为了有效地整理、引用和协作&#xff0c;研究者需要强大而灵活的文献管理工具。EndNote作为一款备受推崇的文献管理软件&#xff0c;在解决这一问题上发挥着关键作用。本文将深入探讨…

OpenCV-Python(21):轮廓层次结构

目标 学习轮廓的层次结构&#xff0c;了解轮廓之间的父子关系 原理 在前面的内容中我们使用函数cv2.findContours() 来查找轮廓的时候&#xff0c;我们会传入一个参数:轮廓提取模式&#xff08;Contour_Retrieval_Mode&#xff09;。我们总是把它&#x10456d;置为cv2.RETR_…