【个人笔记 hive】hive里面的说SerDe含义

news2024/11/20 23:20:34

官网中这样介绍serde:https://cwiki.apache.org/confluence/display/Hive/SerDe:
SerDe Overview
SerDe is short for Serializer/Deserializer. Hive uses the SerDe interface for IO. The interface handles both serialization and deserialization and also interpreting the results of serialization as individual fields for processing.
A SerDe allows Hive to read in data from a table, and write it back out to HDFS in any custom format. Anyone can write their own SerDe for their own data formats.
翻译为:
SerDe是Serializer/Deserializer的缩写。Hive使用SerDe接口进行IO。该接口同时处理序列化和反序列化,并将序列化结果解释为单独的字段进行处理。
SerDe允许Hive从表中读入数据,并以任何自定义格式将数据写回HDFS。任何人都可以为自己的数据格式编写自己的SerDe。

What is a SerDe?
SerDe is a short name for “Serializer and Deserializer.”
Hive uses SerDe (and FileFormat) to read and write table rows.
HDFS files --> InputFileFormat --> <key, value> --> Deserializer --> Row object
Row object --> Serializer --> <key, value> --> OutputFileFormat --> HDFS files
SerDe是什么?
SerDe是“序列化器和反序列化器”的简称。
Hive使用SerDe(和FileFormat)来读写表行。
HDFS文件——> InputFileFormat——> <key, value>——> Deserializer——>行对象
行对象——> Serializer——> <key, value>——> OutputFileFormat——> HDFS文件

  • 在我们平时的建表语句中,就其实有我们的serde。有的直接显示的指明何种serde,有的缩写了。
  • 比如:
    STORED AS ORC 。其实这个就是缩写了。隐式的说明这是一个serde。根据官网,以上和下面这个相同的意思。
ROW FORMAT SERDE
  'org.apache.hadoop.hive.ql.io.orc.OrcSerde'
  STORED AS INPUTFORMAT
  'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat'
  OUTPUTFORMAT
  'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat'

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/80385.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Linux中mysql的安装|配置|操作|卸载

文章目录1. mysql的卸载1.1 首先查询系统是否安装了MySQL1.2 关闭MySQL服务1.3 查看MySQL对应的文件夹1.4 卸载并删除MySQL安装的组键服务1.5 删除系统中MySQL的所有文件夹1.6 最后验证MySQL是否删除完成2. mysql的安装与配置2.1 下载mysql8.0安装包2.2 解压mysql8.0安装包2.3 …

蜂鸟学习笔记E203(七)——写回、存储器和ICB总线

一、 蜂鸟E203处理器的写回硬件实现 核心思想如下 将指令划分为单周期指令和长指令两大类将长指令的交付和写回分开&#xff0c;使得即使执行力多周期的长指令也不会阻塞流水线&#xff0c;妨碍单指令 主要包含最终写回仲裁、长指令写回仲裁 最终写回仲裁 长指令的写回比…

Python的数据结构- 序列(sequence)

数据结构 - 序列&#xff08;sequence&#xff09; 序列的一个特点就是根据索引&#xff08;index&#xff0c;即元素的位置&#xff09;来获取序列中的元素&#xff0c;第一个索引是 0&#xff0c;第二个索引是 1&#xff0c;以此类推。 所有序列类型都可以进行某些通用的操作…

ChatGPT教我面试

​持续坚持原创输出&#xff0c;点击蓝字关注我吧 最近ChatGPT爆火&#xff0c;ChatGPT能干什么呢&#xff1f;想必已经看过很多文章了&#xff0c;例如ChatGPT通过美国高考、ChatGPT开发游戏、调试代码、写文章等等。 哈哈&#xff0c;作为一个软件测试博主&#xff0c;我怎么…

frp内网穿透SSH

参考博客: 博客1(推荐): https://sspai.com/post/52523 博客2: https://blog.csdn.net/qq_36981760/article/details/115713179 博客3: https://blog.csdn.net/qq_36981760/article/details/115713179 参考视频 (推荐&#xff0c;比较详细): https://www.bilibili.com/video/BV…

谈谈inline(内联函数)

目录1、例子抛出2、 了解inline2.1 宏替换的副作用2.2 内联函数2.3 有意思的点3、总结4、 感谢您的阅读&#xff01;1、例子抛出 我们知道可以用宏定义来代替一个变量或者函数块&#xff1a; #define A 20 #define MYFUNC(a,b) (&#xff08;a&#xff09; > &#xff08;…

Kubernetes双主集群的部署(二)

Kubernetes单主集群的部署&#xff08;一&#xff09;_Evens7xxX的博客-CSDN博客 上期完成了单主架构集群的部署&#xff0c;本期将在单主架构的基础上添加Master和负载均衡器 目录 二、k8s双主架构集群的部署 1.另一台Master同样做初始化配置 2.配置 Master02 3.配置负载均…

算法与数据结构31:DC3算法生成后缀数组

算法与数据结构31&#xff1a;DC3算法生成后缀数组什么是后缀数组引出DC3算法DC3算法具体实现DC3算法模板DC3模板的用法一个可以使用DC3的题什么是后缀数组 假设有字符串 aabaabaa 那么从每个位置开始&#xff0c;到结尾位置&#xff0c;截取后缀串&#xff0c;可得 a aa baa …

四面阿里巴巴如愿拿到offer定级P7,为此我筹备了半年

前言 每个程序员都有一个大厂的梦&#xff0c;而互联网大厂首当其冲自然是阿里巴巴最吃香&#xff0c;今天小编就来分享一个小伙进阿里巴巴的面经&#xff01; “不想进大厂的程序员不是好程序员”哈哈哈 春节过后&#xff0c;本是金三银四之际&#xff0c;大部分人也都准备好…

【RealSense】L515学习记录

Intel RealSense™ SDK 2.0的安装 1、注册服务器的公钥: sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-key F6E65AC044F831AC80A06380C8B3A55A6F3EFCDE || sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv-key F6E65AC044F831AC80A06380C8…

ChatGPT:chatGPT本地部署、运行和接口调用

文章目录从 github 下载环境配置conda 创建虚拟环境官方步骤配置环境安装 revChatGPT更改 config.json.example -> config.json将 config.json 移动到 revChatGPT 路径下cookie 信息写入 config.json方式1&#xff1a;使用账号密码作为登录的方法方式2&#xff1a; 使用 ses…

软件测试期末测试题及解析(五套试题共两万余字)

软件测试期末考试复习题题目软件测试期末考试复习题&#xff08;一&#xff09;一、单项选择题&#xff1a;二、判断题&#xff1a;三、简答题期末考试复习题&#xff08;二&#xff09;一、单项选择题&#xff1a;二、判断题&#xff1a;三、简答题期末考试复习题&#xff08;…

并查集最重要的优化:路径压缩

本文章将直接讲解优化&#xff0c;对并查集还不理解或忘记的同学可以看以下两篇文章 并查集基础 优化&#xff1a;启发式合并 先赞后看好习惯 今天我们要来说另一种对并查集的优化&#xff1a;路径压缩 也许有些同学看了启发式合并会说&#xff1a;其实优化的也不多啊&…

定时器: Timer (Java)

定时器: Timer一、定时器是什么二、标准库中的定时器三、实现定时器3.1 定时器的构成3.2 实现细节3.3 完整代码一、定时器是什么 定时器也是软件开发中的一个重要组件。类似于一个 “闹钟”&#xff0c;即达到一个设定的时间之后&#xff0c;就执行某个指定好的代码。 定时器…

收藏 | 自然语言处理(NLP)数据集汇总(附下载链接)

&#x1f384;&#x1f384;【自然语言处理NLP】简介 &#x1f384;&#x1f384; 自然语言处理(Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门…

自制CPU

CPU是计算机的核心部件&#xff0c;其发展历程就是人类文明的发展史。 随着计算机技术的不断发展&#xff0c; CPU也从一开始的功能简单&#xff0c;到现在已经变成功能强大、应用广泛的芯片。 但要想更深入了解 CPU&#xff0c;你需要知道它是如何工作以及为什么这么做的。 你…

数据结构003:有效的数独

原文链接&#xff1a;数据结构003&#xff1a;有效的数独 题目 请你判断一个 9 x 9 的数独是否有效。只需要 根据以下规则 &#xff0c;验证已经填入的数字是否有效即可。 数字 1-9 在每一行只能出现一次。数字 1-9 在每一列只能出现一次。数字 1-9 在每一个以粗实线分隔的 3x3…

Lecture7:随机梯度下降算法问题及解决、dropout正则化、学习率的选择、迁移学习

目录 1.随机梯度下降算法问题及解决 1.1 随机梯度下降算法SGD的问题 1.2 具有动量的梯度下降算法SGDMomentum 1.3 Nesterov加速梯度法 1.4 AdaGrad 1.5 RMSProp 1.6 融合&#xff01;Adam算法 2. 学习率的选取 3. 正则化 3.1 dropout正则化 4. 迁移学习 1.随机梯度下…

一篇文章带你了解python数据分析岗位怎么样

前言 嗨喽&#xff0c;大家好呀~这里是爱看美女的茜茜呐 又到了学Python时刻~ 分析目标 各城市对数据分析岗位的需求情况 不同细分领域对数据分析岗的需求情况 数据分析岗位的薪资状况 工作经验与薪水的关系 公司都要求什么掌握什么技能 岗位的学历要求高吗 不同规模的…

详解C语言中的自定义类型(结构体,枚举,联合)

目录 1. 结构体 1.1 结构的声明 1.2 结构的自引用 1.3 结构体变量的定义和初始化 1.4 结构体内存对齐 (计算结构体的大小) 1.5 结构体传参 2. 位段&#xff08;结构体实现位段&#xff09; 2.1 什么是位段 2.2 位段的内存分配 2.3 位段的跨平台问题 3. 枚举 …