大数据之Hive(二)

news2024/11/27 15:52:10

文章目录

  • 前言
  • 一、Hive数据库和表操作
    • (一)数据库操作
      • 1. 创建数据库
      • 2. 删除数据库
    • (二)数据表操作
      • 1. 内部表和外部表的操作
        • 1.1 内部表操作
        • 1.2 外部表操作
      • 2. 复杂类型操作
        • 2.1 Array类型
        • 2.2 map类型
        • 2.3 struct类型


前言

#博学谷IT学习技术支持#

一、Hive数据库和表操作

(一)数据库操作

1. 创建数据库

1.1 在HDFS的默认Hive存储目录创建数据库

在这里插入图片描述
1.2 创建数据库并使用Location关键字指定HDFS存储位置
在这里插入图片描述

2. 删除数据库

2.1 删除一个空的数据,如果该数据库下存在数据表,则会报错
在这里插入图片描述
2.2 强制删除数据库,如果数据库下存在表,则连同数据表一起删除
在这里插入图片描述

(二)数据表操作

1. 内部表和外部表的操作

1.1 内部表操作

没有被external修饰的是内部表,删除内部表会直接删除元数据及存储数据,因此内部表不适合和其他工具共享数据

  • 创建内部表
    在这里插入图片描述
  • 创建表并指定字段之间的分隔符,指定字段之间用“\t”分隔
    在这里插入图片描述
  • 根据查询结果创建表
    在这里插入图片描述
  • 根据已经存在的表结构创建表
    在这里插入图片描述
  • 删除表
    在这里插入图片描述

1.2 外部表操作

在创建表的时候通过指定external关键字创建外部表,外部表因为是指定其他的hdfs路径的数据加载到表当中来,所以hive表会认为自己不完全独占这份数据,所以删除hive外部表的时候,数据仍然存放在hdfs当中,不会删掉。

  • 数据装载命令Load
    Load命令用于将外部数据加载到Hive表中
    在这里插入图片描述1、load data:表示加载数据
    2、local:表示从本地加载数据到hive表;否则从HDFS加载数据到hive表
    3、inpath:表示加载数据的路径
    4、overwrite:表示覆盖表中已有数据,否则表示追加
    5、into table:表示加载到哪张表
    6、student3:表示具体的表
    7、partition:表示上传到指定分区

2. 复杂类型操作

2.1 Array类型

Array是数组类型,Array中存放相同类型的数据;
说明:name与locations之间制表符\t分隔,locations中元素之间逗号分隔
在这里插入图片描述

  • 导入数据
    Load方法支持从本地以及HDFS上导入数据
    在这里插入图片描述
  • 常用查询
    在这里插入图片描述

2.2 map类型

map就是描述key-value数据
说明:字段与字段分隔符: “,”;需要map字段之间的分隔符:“#”;map内部k-v分隔符:“:”
在这里插入图片描述

  • 导入数据
    在这里插入图片描述
  • 常用查询
    在这里插入图片描述

2.3 struct类型

说明:字段之间#分割,第二个字段之间冒号分割
在这里插入图片描述

  • 导入数据
    在这里插入图片描述
  • 常用查询
    在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/3940.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【数据结构与算法】二叉排序树平衡二叉树哈夫曼树

🔥 本文由 程序喵正在路上 原创,CSDN首发! 💖 系列专栏:数据结构与算法 🌠 首发时间:2022年11月7日 🦋 欢迎关注🖱点赞👍收藏🌟留言🐾…

Oracle 处理json数据

文章目录备注:一. Json数据存储二. Json数据insert三. json数据update四. json数据查询五. 常用的json函数5.1 json_array5.2 JSON_ARRAYAGG5.3 JSON_DATAGUIDE5.4 JSON_MERGEPATCH5.5 JSON_OBJECT5.6 JSON_OBJECTAGG5.7 JSON_QUERY5.8 json_serialize5.9 JSON_TABLE5.10 JSON_…

作为前端还在使用GIF动画吗?换一种更优雅的方案吧

Web-Editor 前言 动画需求在业务开发中是很常见的功能,无论是客户端开发、Web 开发、还是桌面端开发,为了产品有更好的用户体验,UED 设计的视觉效果也愈发的复杂,一般些简单的淡入淡出,旋转效果开发花费些时间即可搞…

三只松鼠,“跑”不动了?

【潮汐商业评论/ 原创】 编辑部的Lisa是个典型的吃货,而坚果零食绝对是她的心头好。用她的话来说“坚果提供优质脂肪,每天吃点,解馋又健康啊。” 而作为网红坚果零食“开山鼻祖”之一的三只松鼠,最近的日子似乎并不好过。 近日…

阿里云SLB之:基于HTTPS协议的SLB应用场景(十二)

文章目录 1.配置域名解析2.配置HTTPS协议类型的SLB七层负载2.1.点击监听配置向导2.2.配置负载均衡类型2.3.设置负载均衡算法2.4.设置域名使用的SSL证书2.5.设置后端虚拟服务器组2.6.开机健康检查2.7.审核配置完成创建3.配置HTTP强转HTTPS4.配置ECS中的Nginx支持HTTPS协议5.通过…

文件传输协议

1、FTP 文件传送协议FPT(File Transfer Protocol)是互联网上使用的最广泛的文件传输协议。FTP提供交互式访问,允许客户指明文件的类型与格式,并允许文件具有存取权限(如访问文件的用户必须经过授权,如输入有…

pg故障修复记录

一个线上实例,用户数据大概300g 400g的样子,由于用户自己修改了最大连接数,超过了我们设置的合理范围,导致自动恢复失败,现在需要我们手动搭建起来新的主从关系。 但是在搭建的过程中,出现了两个比较麻烦的…

我用python分析买房数据

首先说明,这是一篇技术文章。 明年打算买房,媳妇这段时间总去看房子,这种状态持续了两个月,最近终于消停了。现在整个市场不明朗,我们也不确定换到哪里。不如先整理点数据,至少能监控一些区域价格&#xf…

Vue利用flex布局实现TV端城市列表

Vue利用flex布局实现TV端城市列表 vue中城市列表和搜索很常见&#xff0c;这篇博客就来说说咋实现搜索和城市列表 1.实现搜索布局代码&#xff1a; <div class"search-bar"><input class"search-input" v-model"citySearchResult" :…

Java【数组】定义与使用,什么是引用类型你知道吗

文章目录前言一、数组的基本概念1.什么是数组2.数组的创建和初始化1.数组的创建2. 数组的初始化3.数组的使用4.遍历数组&#xff08;两种方式&#xff09;二、数组是引用类型1.初识JVM内存分配2.引用类型3.认识null三、数组的应用场景1.保存数据2.作为方法的参数1.参数传基本数…

STM32F407ZGT6|SPI主从模式

功能&#xff1a;主机发送数据0x34–>从机接收数据–>通过串口将数据发送出去–>串口猎人显示0x34 必备知识点 1、SPI串行外设接口特点 高速、全双工、同步、串行高速&#xff1a;发送数据的速度很快全双工&#xff1a;两设备可同时双向通信&#xff08;接收与发送&…

STM32 CAN过滤器标识符学习笔记

最近看了下STM32 CAN 通讯其中标示符过滤器设置大有讲究。特别是你要使用ST库函数时&#xff0c;当过滤器工作在屏蔽模式下&#xff0c;并且你把屏蔽位设了1也就是标示符对应位必须全部匹配才能通过&#xff0c;这是由其要小心。 举个例子吧&#xff0c;过滤器长度为32位&…

【MindSpore易点通】在开发环境中如何使用MindInsight在线调试器

背景信息 在使用开发环境训练任务过程中&#xff0c;为方便开发人员更形象地观察到实时训练任务中的数值变化情况以分析精度问题&#xff0c;ModelArts在线调节器应运而生。与离线调试器的区别在于&#xff0c;离线调试器只能待整个任务运行完成后&#xff08;收集到整个任务过…

【机器学习大杀器】Stacking堆叠模型

1.前言 Kaglle比赛中使用Stacking模型是非常常见的大杀器&#xff0c;这是为什么呢&#xff1f; 【机器学习大杀器】Stacking堆叠模型 1.前言 2.Model 3: Stacking model 2.1 description of the algorithms: 2.2 interpretation of the estimated models: 3. Extend 3.1 …

终于盼到了,Python 数据科学速查表中文版来了

近几年以来&#xff0c;Python 的应用场景越来越多&#xff0c;几乎可以应用于自然科学、工程技术、金融、通信和商业等各种领域。究其原因在于 Python 的简单易学、功能强大。 想系统地学点东西&#xff0c;发现很多不错的技术文档都是英文资料&#xff0c;发现英文竟然成为了…

数据结构考研第六章——图(内含动图)

大纲要求&#xff1a;图的相关算法相对较多&#xff0c;通常只要求掌握其基本思想和实现步骤&#xff0c;而算法的具体实现不是重点。 一、图的基本概念 图的概念&#xff1a;图G由顶点集V和边集E组成的&#xff0c;记为G&#xff08;V&#xff0c;E&#xff09;有向图&#x…

6_显示登录信息以及上传图片

目录一 显示登录信息二 账号设置修改用户图片一 显示登录信息 实现思路 书写一个拦截器 loginTicketInterceptor 在 preHandle 方法中获取用户发送请求时携带的 cookie书写一个专门获取cookie的工具类 CookieUtil查数据库,数据库是否存在该 ticket,判断该凭证是否有效,-凭证是…

【论文阅读】EDPLVO: Efficient Direct Point-Line Visual Odometry

一、公式及符号约定 这篇论文是将直接法的残差计算从点扩展到了线段&#xff0c;所以一些符号在第三章的部分提前做了约定。用Π表示投影的函数&#xff0c;也就是用像素坐标和内参矩阵以及深度信息&#xff0c;投影出点的空间坐标&#xff0c;反之Π-1表示的是将空间坐标投影…

Git使用详细教程

1. cmd面板的常用命令 clear&#xff1a;清屏cd 文件夹名称----进入文件夹cd … 进入上一级目录(两个点)dir 查看当前目录下的文件和文件夹(全拼:directory)Is 查看当前目录下的文件和文件夹touch 文件名----创建文件echo 内容 > 创建文件名----创建文件并写入内容rm 文件名…

基于udp实现回显服务器,翻译服务器

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 目录 udp socket 要掌握的类&#xff1a; 1.DatagramSocket 2.DatagramPacket 一、udp版本回显服务器 服务端&#xff1a; 完整代码 客户端&#xff1a; 完整代码 udp版本翻译…