【大数据之Hive】十三、Hive-HQL函数之单行函数和高级聚合函数

news2024/10/6 19:48:55

  Hive内置函数:单行函数、聚合函数、炸裂函数、窗口函数。

--查看系统内置函数:
show functions;

--查看内置函数用法:
desc function 函数名;

--查看内置函数详细信息:
desc function extended 函数名;

一、单行函数

  单行函数的特点是一进一出,即输入一行,输出一行;包括算数运算函数、数值函数、字符串函数、日期函数、流程控制函数、集合函数等。

1 算数运算函数

在这里插入图片描述

--按位异或(位同为0,不同为1)
select 2^3;    --10 ^ 11 = 01 = 1

2 数值函数

--round:四舍五入
select rount(3.3);    --3
select rount(-1.5);    --  -2

--ceil:向上取整
select ceil(3.1);    --3
select ceil(-1.5);    --  -1

--floor:向下取整
select floor(4.9);    --4
select floor(-1.3);    --  -2

3 字符串函数

3.1 substring 截取字符串

语法:

-- 一:返回string,返回字符串A从start位置到结尾的字符串
substring(string A, int start);


-- 二:返回string,返回字符串A从start位置开始,长度为len的字符串
substring(string A, int start, int len);

--获取第二个字符以后的所有字符:
select substring('liaoyanxia',2);    -- iaoyanxia

--获取倒数第三个字符以后的所有字符(复数为倒数):
select substring('liaoyanxia',-3);    -- xia

--获取从第5个字符开始,向后取3个字符:
select substring('liaoyanxia',5,3);    -- yan

3.2 replace 全局替换

语法:

-- 返回string,将字符串A中的字符串B替换为C
replace(string A, string B, string C);
select replace('liaoyanxia','l','L');    --Liaoyanxia

3.3 regexp_replace 正则替换

语法:

--返回string,将字符串A中符合Java正则表达式B的部分替换为C,在用到'/'时需要用转义字符'\\'.
regexp_replace(string A, string B, string C);
--将数字用num代替
select regexp_replace('id:120-234','[0-9]+','num');    --id:num-num

3.4 regexp 正则匹配

语法:

--返回boolean,若字符串符合正则表达式则返回true,否则返回false:
select 字符串 regexp 正则表达式;
select 'liaoyanxia' regexp 'liao+';    --true
select 'liaoyanxia' regexp 'liso+';    --false

3.5 repeat 重复字符串

语法:

--返回string,将字符串A重复n遍
select repeat(string A,int n);
select repeat('liaoyanxia',2);    --liaoyanxialiaoyanxia

3.6 split 字符串切割

语法:

--返回array,按照正则表达式pat匹配的内容切割字符串A,切割后的字符串以数组的形式返回。
select split(string A,正则表达式);
select split('a-b-c-d','-');    --["a","b","c","d"]

3.7 nvl 替换null值

语法:

--A的值不为null,则返回A,否则返回B
select nvl(A,B);
select nvl(null,1);    --1

3.8 concat 拼接字符串

语法:

--返回string,将A,B,...等字符串拼接为一个字符串
select concat(string A,string B,...);
select concat('liaoyanxia',' ','is',' ','a',' ','gril');    --liaoyanxia is a gril

3.9 concat_ws 以指定分隔符拼接字符串或者字符串数组

语法:

--返回string,使用分隔符a凭借多个字符串A,B,...,或者一个数组的所有元素
select concat_ws(string a,string A,string B,...);
select concat_ws(' ','liaoyanxia','is','a','gril');    --liaoyanxia is a gril

3.10 get_json_object 解析json字符串

语法:

--返回string,解析json字符串json_string,返回path指定的内容。
--如果输入的json字符串无效则返回null。
select get_json_object(string json_string,string path);
--取json里的数据
select get_json_object('[{"name":zhangsan,"age":"23"},{"name":lisi,"age":"24"}]','$.[0].name');
--zhangsan

4 日期函数

4.1 unix_timestamp 返回当前或指定时间的时间戳

语法:

--返回bigint,把按格式format传进来的日期time转为的时间戳
select unix_timestamp(string time,string format);
select unix_timestamp('2023/05/17 11-37-23','yyyy/MM/dd HH-mm-ss');
--1684323443

4.2 from_unixtime 转化UNIX时间戳为当前时区的时间格式

  到指定时间的秒数。
语法:

--返回当前时区的时间格式string
select from_unixtime(bigint 时间戳);
select from_unixtime(1684323443);    --2023/05/17 11:37:23

4.3 current_date 当前日期及时间

语法:

--获取当前日期
select current_date;

--获取当前日期和时间,精确到毫秒
select current_timestamp;

4.4 获取日期中的月或日或时

语法:

--返回int
--获取月
select month(string date);

--获取日
select day(string date);

--获取小时
select hour(string date);
select month('2023/05/17 11:37:23');    --5
select day('2023/05/17 11:37:23');    --17
select hour('2023/05/17 11:37:23');    --11

4.5 datediff 两个日期相差的天数

语法:

--返回int,结束日期enddate减去开始日期startdate的天数
select datediff(string enddate,string startdate);
select datediff('2023-5-17','2022-5-19');

4.6 date_add & date_sub 日期加减天数

语法:

--返回string,开始日期startdate加减days天后的日期
select date_add(string startdate,int days);
select date_sub(string startdate,int days);
select date_add('2023-5-17',2);    --2023-5-19
select date_sub('2023-5-17',2);    --2023-5-15

4.7 date_format 将标准日期解析成指定格式字符串

语法:

--将日期date按指定格式format返回
select date_format(string date,string format);
select date_format('2023-5-17','yyyy年-MM月-dd日');    --2023-05-17

5 流程控制函数

5.1 case when 条件判断函数

语法:

-- 一、如果condition1为true则返回result1;...;否则返回default_result。
select

    case
        when condition1 then result1
        when condition2 then result2
        ...
        else default_result
    end
from table_name;

-- 二、如果value_0=value_1则返回result1;...;否则返回default_result。
select

    case value_0
        when value_1 then result1
        when value_2 then result2
        ...
        else default_result
    end
from table_name;
select case when 1=2 then 'out:1=2' when 2=2 then 'out:2=2' else 'nothing' end;
select case 2 when 1 then 'out:1=2' when 2 then 'out:2=2' else 'nothing' end;

5.2 if 条件判断

语法:

--类似于Java中三元运算符,符合条件condition时返回valueTrue,否则返回valueFalseOrNull.
select

    if(boolean condition,T valueTrue,T valueFalseOrNull)
from table_name;
select if(10 > 5,'true','false');    --true
select if(10 > 11,'true','false');    --false

6 集合函数

语法:

--size():获取数组或Map类型列的大小
select size(arrayOrMap_column) from table_name;

--map():根据输入的key和value创建map集合。
select map(key1, value1, key2, value2,...);

--map_keys():返回map中的key
select map_keys(map(key1,value1,key2,value2,...));

--map_values():返回map中的value
select map_values(map(key1,value1,key2,value2,...));

--array():声明array集合
select array(value1,value2,...);

--array_contains():判断array中是否包含某个元素a,返回truefalse
select array_contains(array(value1,value2,...),string a);

--sort_array():把array中的元素排序
select sort_array(array(value1,value2,...));

--struct():声明struct中的各种属性根据输入的参数构造结构体struct类
select struct(property1,property2,...);

--named_struct():声明struct的属性和值
select named_struct(property1,value1,property2,value2,...);
select map('beijing',1,'shanghai',2);    --{"beijing":1,"shanghai":2}

select map_keys(map('beijing',1,'shanghai',2));    --["beijing","shanghai"]

select map_values(map('beijing',1,'shanghai',2));    --[1,2]

select array('1','2','3','4');    --["1","2","3","4"]

select array_contains(array('1','2','3','4'),'1');    --true

select sort_array(array('1','2','3','4'));    --["1","2","3","4"]

select struct('name','age','weight');    --{"col1":"name","col2":"age","col3":"weight"}

select named_struct('name','zhangsan','age',18,'weight',65);    --{"name":"zhangsan","age":18,'weight':65}

7 案例

数据准备

表结构:
在这里插入图片描述

--建表
create table employee(
    name string,    --姓名
    sex string,    --性别
    birthday string ,
    hiredate string,    --入职日期
    job string,    --岗位
    salary double,    --薪水
    bonus double,    --奖金
    friends array<string>,
    children map<string,int>
)
row format delimited fields terminated by '\t';

--插入数据:
insert into employee  
 values('张无忌','男','1980/02/12','2022/08/09','销售',3000,12000,array('阿朱','小昭'),map('张小无',8,'张小忌',9)),
        ('赵敏','女','1982/05/18','2022/09/10','行政',9000,2000,array('阿三','阿四'),map('赵小敏',8)),
       ('宋青书','男','1981/03/15','2022/04/09','研发',18000,1000,array('王五','赵六'),map('宋小青',7,'宋小书',5)),
       ('周芷若','女','1981/03/17','2022/04/10','研发',18000,1000,array('王五','赵六'),map('宋小青',7,'宋小书',5)),
       ('郭靖','男','1985/03/11','2022/07/19','销售',2000,13000,array('南帝','北丐'),map('郭芙',5,'郭襄',4)),
       ('黄蓉','女','1982/12/13','2022/06/11','行政',12000,null,array('东邪','西毒'),map('郭芙',5,'郭襄',4)),
       ('杨过','男','1988/01/30','2022/08/13','前台',5000,null,array('郭靖','黄蓉'),map('杨小过',2)),
       ('小龙女','女','1985/02/12','2022/09/24','前台',6000,null,array('张三','李四'),map('杨小过',2))

需求及实现:

--统计每个月的入职人数:month cnt   (有问题)
select 
    month(replace(hiredate,'/','-')) month,
    count(*) cnt
from employee
group by month(replace(hiredate,'/','-'));


--查询每个人的年龄(年 + 月):name age
select
    name,
    concat(floor(datediff(current_date,birthday)/365),'年'datediff(current_date,birthday)%12,'月') age
from employee;
    

--按照薪资,奖金的和进行倒序排序,如果奖金为null,置位0:name sal
select 
    name,
    salary+nvl(bonus,0) sal
from employee
order by sal desc; 


--查询每个人有多少个朋友:name cnt
select
    name,
    size(friends) cnt
from employee;

--查询每个人的孩子的姓名:name ch_name
select
    name,
    map_keys(children) ch_name
from employee;

--查询每个岗位男女各多少人:job male female
select
    job,
    sum(if(sex='男',1,0)) male,
    sum(if(sex='女',1,0)) female
from employee
group by job;

二、高级聚合函数

1 概述

多进一出,即多行输入,一行输出。
语法:

--普通聚合
select count(*) from table_name;
select max(col_name) from table_name;
select min(col_name) from table_name;
select sum(col_name) from table_name;
select avg(col_name) from table_name;

--collect_list():收集并形成list集合,结果不去重。
select collect_list(col_name) from table_name;

--collect_set():收集并形成set集合,结果去重。
select collect_set(col_name) from table_name;

2 案例

--求每个月入职的人数及姓名
select 
    month(replace(hiredate,'/','-')) month,
    count(*) cnt,
    collect_list(name) names
from employee
group by month(replace(hiredate,'/','-'));

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/668283.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

GDB调试大全

嵌入式开发必备工具&#xff01;&#xff01;&#xff01;学就完事了&#xff01;&#xff01;&#xff01; 目录 GDB初使用 准备条件&#xff1a;Makefile&#xff0c;section1.cpp 初步使用命令 启动调试 启动调试别传入参数 附加到进程 逐过程执行 逐语句执行 退出函…

apm装机教程(二):四旋翼

文章目录 前言一、接线二、刷固件三、设置机架四、校准遥控器五、设置遥控开关六、校准传感器七、设置参数 前言 硬件&#xff1a; pix2.4.8 250穿越机 云卓T10遥控 软件&#xff1a; APM4.3.7 QGC MP 一、接线 GPS接gps和i2c口&#xff0c;接收机的p/s口接飞控RCIN 二、刷…

SAP从入门到放弃系列之BOM行项目类别-R类别-Part3

文章目录 一、BOM行项目类别设置二、BOM主数据维护三、参数详解3.1、尺寸大小3.2、尺寸大小单位3.3、公式3.4、所需数量3.5、可变尺寸数量3.6、可变尺寸数量单位 四、测试示例演示&#xff1a;小结 一、BOM行项目类别设置 创建或者更改BOM时&#xff0c;BOM行项目类别选择R&am…

SSM超市库存商品管理系统+jsp【附万字文档(Lun文)】

主要功能 管理员权限登录&#xff1a; ①主页、个人中心&#xff1a;修改密码、个人信息 ②员工管理&#xff1a;可以根据员工姓名、手机号、身份证查询&#xff0c;以及增删改查操作 ③会员管理&#xff1a;可以根据会员姓名、手机号、身份证查询&#xff0c;以及增删改查操作…

【进阶]Java:线程通信(了解)

什么是线程通信&#xff1f; 当多个线程共同操作共享的资源时&#xff0c;线程间通过某种方式互相告知自己的状态&#xff0c;以相互协调&#xff0c;并避免无效的资源争夺。 线程通信的常见模型&#xff08;生产者与消费者模型&#xff09; 生产者线程负责生产数据消费者线…

IDE/VS2017社区版安装+Qt部署+旧项目迁移

文章目录 概述安装包获取卸载旧版本安装过程首次使用Qt插件配置和使用插件配置Qt项目创建向导 VS2015项目迁移到VS2017 概述 这几天想开始使用glog这个开源日志库&#xff0c;发现其已经在很大程度上使用C14标准了&#xff0c;而VS2015并不能完全支持该标准。根据一些教程试图…

Java的Set接口及其实现类(面试题)

Set接口中没有额外定义新的方法&#xff0c;使用的都是Collection接口中声明过的方法。 * 1. Set接口的框架&#xff1a;** |----Collection接口&#xff1a;单列集合&#xff0c;用来存储一个一个的对象* |----Set接口&#xff1a;存储无序的、不可重复的数据 --&g…

【Spring】— 应用案例——基于注解的Spring MVC应用

目录 应用案例——基于注解的Spring MVC应用1.搭建项目环境2.修改配置文件3.修改Controller类4.启动项目&#xff0c;测试应用 应用案例——基于注解的Spring MVC应用 为了帮助读者熟悉掌握Spring MVC的核心类和注解的使用&#xff0c;接下来将以注解的方式对入门案例进行改写…

CPU多核一定比单核性能强吗

在一般人的眼中&#xff0c;多核性能肯定比单核强&#xff0c;处理器核心越多越好&#xff0c;但果真如此吗&#xff1f; 许多人认为CPU 内核越多越好。然而&#xff0c;情况并非总是如此。这就是为什么更多内核并非在所有情况下都是好的选择&#xff0c;这不仅仅是因为在芯片…

数据结构——单向链表(万字讲解)

单向链表&#xff08;又名单链表、线性链表&#xff09;是链表的一种&#xff0c;其特点是链表的链接方向是单向的&#xff0c;对链表的访问要通过从头部开始&#xff0c;依序往下读取。 //单链表的打印 void SLTPrint(SLTNode* phead) {SLTNode* cur phead;while (cur){pri…

数据孤岛如何形成,企业如何破解?

国内企业数据化现状 在数字化时代&#xff0c;数据已经成为了企业不可或缺的重要资产。企业内部部门或系统之间存在着数据割裂现象&#xff0c;导致数据无法流通和共享&#xff0c;从而形成数据孤岛的现象。对于企业来说&#xff0c;数据孤岛问题是十分普遍的&#xff0c;它阻…

如何在项目管理中获得更多权威和影响力?这篇文章告诉你!

1 透明力 信息力和感知力是对环境的观察、观察、再观察&#xff0c;这些 观察的结果只有透明出来&#xff0c;才能发挥效用。你要想法把你看到的问题可视化&#xff0c;让决策者和团队都能看到问题。即透明的力量。 1.1 怎么运用透明的力量呢&#xff1f; 我曾在某团队经常听…

win11 系统安装 wsl

1. 打开虚拟设置 在【开始】搜索【启用或关闭 Windows 功能】&#xff0c;打开Windows 功能对话框&#xff0c;勾选“适用于Linux的Windows子系统”和“虚拟机平台”两个选项。 2. wsl 安装 管理员模式启动powershell 设置wsl版本&#xff1a;wsl --set-default-version 1 更新…

业务 IT 一体化:华为云 SaaS Package 做到了

SaaS 这个概念在近两年可谓十分火热&#xff0c;特别是进入到了后疫情时代&#xff0c;似乎离不开 SasS。然而很多人并没有真正理解 SaaS 的概念&#xff0c;对 SaaS 的认知还是比较片面。 你要弄清 SaaS&#xff0c;首先就绕不开 laaS 和 PaaS。下面这张图可以很直观地让你明…

leetcode40. 组合总和 II (java-回溯算法)

组合总和 II leetcode40. 组合总和 II题目描述解题思路代码演示 回溯算法专题 leetcode40. 组合总和 II 来源&#xff1a;力扣&#xff08;LeetCode&#xff09; 链接&#xff1a;https://leetcode.cn/problems/combination-sum-ii 题目描述 给定一个候选人编号的集合 candida…

【滤波】扩展卡尔曼滤波器

本文主要翻译自rlabbe/Kalman-and-Bayesian-Filters-in-Python的第11章节11-Extended-Kalman-Filters&#xff08;扩展卡尔曼滤波&#xff09;。 %matplotlib inline#format the book import book_format book_format.set_style()我们发展了线性卡尔曼滤波器的理论。然后在上两…

Fiddler之日常使用简介

目录 前言&#xff1a; Fiddler界面简介 一、Fiddler抓取http、https请求配置 二、抓取指定域名会话 三、http请求统计试图 前言&#xff1a; Fiddler是一款功能强大的Web调试工具&#xff0c;它可以帮助开发人员在开发和测试过程中捕获、修改和检查HTTP请求和响应。 使用Fiddl…

Python基础(11)——Python循环(while、for)

Python基础&#xff08;11&#xff09;——Python循环&#xff08;while、for&#xff09; 文章目录 Python基础&#xff08;11&#xff09;——Python循环&#xff08;while、for&#xff09;目标一. 循环简介1.1 循环的作用1.2 循环的分类 二. while的语法2.1 快速体验 三. w…

全球开源 AI 游戏开发挑战赛,只等你来!

我们在之前的文章中 预告过 (*划重点&#xff0c;IP 属地法国)&#xff1a;7 月初&#xff0c;我们将举办一次与 AI 游戏相关的黑客松活动&#xff0c;这是有史以来的首次开源游戏开发挑战赛&#xff0c;借助人工智能工具释放你的创造力&#xff0c;一起打破游戏开发的边界。 比…

Python自动化测试 软件测试最全教程(附笔记),看完就可就业

最近看到很多粉丝在后台私信我&#xff0c;叫我做一期Python自动化测试的教程&#xff0c;其实关于这个问题&#xff0c;我也早就在着手准备了&#xff0c;我录制了一整套完整的Python自动化测试的教程&#xff0c;都上传在B站上面&#xff0c;大家有兴趣的可以去看一下&#x…