Hive多行转多列,多列转多行

news2024/11/19 21:23:51

hive中的行列转换包含单行、多行、单列、多列,所以一共有四种组和转换结果。

一、多行转多列

原始数据表
在这里插入图片描述
目标结果表
在这里插入图片描述
分析:目标表中的a和b是用分组形成,所以groupby字段选用原始表中col1,c、d、e是原始表中的行值,在目标表中成了列名,目标表中可以采用as做列名自定义,当原始表中的某一字段值等于某一特定值时,人为定义为结果表中的列名。

SQL实现

select
  col1 as col1,
  max(case col2 when 'c' then col3 else 0 end) as c,//当原始表中col2的字段为C时,取col3中的值,否则取0,然后取最大值,前提是原始表中没有比0更小的数,如果原始表中有比自定义的0值更小的数,else不能采用0,else的值要为原始表中最小数或比最小数还小。
  max(case col2 when 'd' then col3 else 0 end) as d,
  max(case col2 when 'e' then col3 else 0 end) as e
from
  row2col1
group by
  col1;

在这里插入图片描述
总结:多行转多列主要是条件函数,再取最大值,再用as自定义为新列名

二、单行转多列

原始数据表
在这里插入图片描述
目标数据表
**在这里插入图片描述
分析:结果表是将原始表按照col1和col2进行分组统计,将原始表中具有相同col2的col3值拼接到目标表col3的字段当中,所以要采用hive中的拼接函数,但是拼接函数只使用于字符串,所以要将目标表中的col3的值转换为字符串,同时指定拼接关系逗号

SQL语句

select
  col1,
  col2,
  concat_ws(',', collect_list(cast(col3 as string))) as col3
from
  row2col2
group by
  col1, col2;

总结:多行转单列主要知识点就是字符串拼接函数

三、多列转多行

原始表
在这里插入图片描述
目标表
在这里插入图片描述
分析:union all 是在结果的行后面增加,简单理解为:连接行记录,类似向MySQL数据库中增加行记录
而left join是将两个表的列全部放入一张表的列中,增加列记录。

SQL实现

select col1, 'c' as col2, col2 as col3 from col2row1
UNION ALL
select col1, 'd' as col2, col3 as col3 from col2row1
UNION ALL
select col1, 'e' as col2, col4 as col3 from col2row1;

在这里插入图片描述

四、单列转多行

原始表
在这里插入图片描述
目标表
在这里插入图片描述
分析:一列中包含多个数据如Map或array,一般使用explode函数,俗称炸裂函数,将数据集合切分出来展示
SQL实现

select
  col1,
  col2,
  lv.col3 as col3
from
  col2row2
    lateral view
  explode(split(col3, ',')) lv as col3;

结果
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/755931.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

数据结构(王道)——线性表的存储结构之循环表

一、循环单链表 定义: 循环单链表代码实现 创建并初始化、判断循环单链表是否为空、判断结点p是否为循环单链表的表尾结点的代码操作。 二、循环双链表 定义: 循环双链表代码实现 创建并初始化、判断循环双链表是否为空、判断结点p是否为循环双链表的…

橙河网络:怎么搭建海外问卷网站呢?

大家好,我是橙河,如果你想要搭建海外问卷网站赚钱,看我这篇文章就行了。 搭建网站,本身并不复杂,自己会敲代码就自己搞,不会就花点钱外包给别人。 搭建好问卷网站以后,重点来了,你需…

Learning Spatial and Spatio-Temporal Pixel

Learning Deformable Kernels for Image and Video Denoising 作者: Xiangyu Xu 商汤科技SenseTime Research 论文思想:一是将传统的双边滤波算法与CNN结合起来,二是用变形卷积来做多帧对齐的问题,三还是在raw上进行处理的。 …

WSL2 忘记用户密码

步骤一:将默认用户切换为root 在Windows里启动命令提示符,输入: ubuntu2004 config --default-user root这就已经将我的ubuntu20.04的默认用户切换为了root, 不同的WSL版本可能命令的第一个符号不一样,区别如下图&am…

Acrel-3000电能管理系统某公司项目中的应用 安科瑞 许敏

摘要:用户对自身用能的管理意识提升,促使用户侧电力配电系统在商业、工业以及民用区域的普及。系统针对用户侧主要的用能节点,设计安装智能仪表,再通过后台系统来实时监控各用能回路的工作状态、用电量、用水量、用气量数数据的采…

自动驾驶商用驶入“快车道”,汽车软件厂商如何“抢市”?

L3级及以上自动驾驶的商业化进程正在驶入“快车道”。 一方面,高阶自动驾驶的相关法规及标准不断出台,为自动驾驶行业的发展注入了“强心剂”。 比如工业和信息化部副部长辛国斌就曾表示,将启动智能网联汽车准入和上路通行试点,…

【嵌入式开发 Linux 常用命令系列 5 -- history 与 “!“ 巧妙配合】

文章目录 history 命令介绍history 命令与 “!”运行先前执行的命令先前命令的参数传递给新命令两个或多个参数的处理设置 history 命令显示行数以及时间 上篇文章:嵌入式开发 Linux 常用命令系列 4 – git 常用配置及常用命令 history 命令介绍 histo…

虚拟内存、内存分页、分段、段页式内存管理

虚拟内存 为什么有虚拟内存? CPU是直接操作内存的物理地址。在这种情况下,如果两个程序占用的内存有重叠,要想同时运行两个程序是不可能的。 为啥它会内存有重叠啊?我不理解。难道不是这块内存被这个程序使用之后另外的程序就无…

Java内部类(InnerClass)

文章目录 概述1 什么是内部类2 为什么要声明内部类呢3 内部类的分类 成员内部类1 概述2 创建成员内部类对象 局部内部类1 非匿名局部内部类 匿名内部类 概述 1 什么是内部类 将一个类A定义在另一个类B里面,里面的那个类A就称为内部类(InnerClass&#…

React中使用Redux

1.为什么要使用redux redux是一个专门用于状态管理的一个库,和vue中的vuex功能类似。其中核心点就是状态的管理。虽然我们无论在vue还是在react中我们组件间的通行都可以使用消息总线或者父子组件间的消息传递来进行操作。但是如果我们需要A组件的状态在其他十个或者…

Python开发项目基于卷积神经网络的车牌识别仿真软件

博主介绍:擅长Java、微信小程序、Python、Android等,专注于Java技术领域和毕业项目实战✌ 🍅文末获取源码联系🍅 👇🏻 精彩专栏推荐订阅👇🏻 不然下次找不到哟 Java项目精品实战案例…

MongoDB初体验-安装使用教程2023.7

前言:博主第一次接触MongoDB,看了一圈网上现有的教程,不是缺少细节就是有问题没交代清楚,特整理了一下自己安装运行的过程,从下载安装到开机自启,全程细节齐全、图文并茂、简单易懂。 目录 1. 从官网下载2…

1-4 架构师所需要具备的技术栈与能力

架构师所需要具备的技术栈与能力 全局图解 全局图解

JavaWeb(4)——HTML、CSS、JS 快速入门

一、JavaScript 数组 数组筛选&#xff08;查找&#xff0c;将原来数组中的某些数据去除&#xff09; <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta http-equiv"X-UA-Compatible" content&quo…

2023年中国传媒大学程序设计大赛(同步赛)F.舞台矩形

一个简单的线段树维护最值&#xff0c;容易犯错的地方在于y相等的时候不应该省略 这个地方调了一会发现自己傻了 #include<bits/stdc.h> #define ls u<<1 #define rs u<<1|1 using namespace std; const int N 1e510; typedef long long ll; const ll INF …

DAPP(七)——React与智能合约的架构整合

合并一下react和智能合约&#xff0c;创建react脚手架 create-react-app myapp 将合约中对应的文件 复制到 react脚手架的根目录中 结果如下&#xff1a; 下载合约所要的依赖&#xff1a; npm i openzeppelin-solidity 可以在脚手架终端执行truffle的命令语句&#xff0c;t…

maven配置java outofmemory选项

在maven之中选择Add VM options&#xff0c;这样命令就多出来一个关于VM options配置的属性&#xff0c;此时就可以输入对于VM的设置

SpringMVC 中的数据绑定如何使用 @ModelAttribute 注解

SpringMVC 中的数据绑定如何使用 ModelAttribute 注解 引言 SpringMVC 是一个基于 Spring 框架的 Web 框架&#xff0c;它提供了一种简单、灵活的方式来开发 Web 应用程序。在开发 Web 应用程序时&#xff0c;我们需要将用户提交的数据绑定到我们的 Java 对象上。SpringMVC 提…

Orleans 微软基于 Actor 的分布式框架

一、Actor模型工作原理 Actor模型是一种并发编程模型&#xff0c;它基于消息传递实现&#xff0c;是一种轻量级的并发模型。在Actor模型中&#xff0c;每个Actor都是一个独立的执行单元&#xff0c;它可以接收和发送消息&#xff0c;并且可以执行一些本地操作&#xff0c;但是不…

【Java进阶之路】ArrayList源码分析

概述 ArrayList 是 java 集合框架中比较常用的数据结构了。继承自 AbstractList&#xff0c;实现了 List 接口。底层基于数组实现容量大小动态变化。允许 null 的存在。同时还实现了 RandomAccess、Cloneable、Serializable 接口&#xff0c;所以ArrayList 是支持快速访问、复…