hive常用SQL函数及案例

news2024/11/26 0:38:08

1 函数简介

Hive会将常用的逻辑封装成函数给用户进行使用，类似于Java中的函数。
好处：避免用户反复写逻辑，可以直接拿来使用。
重点：用户需要知道函数叫什么，能做什么。
Hive提供了大量的内置函数，按照其特点可大致分为如下几类：单行函数、聚合函数、炸裂函数、窗口函数。
以下命令可用于查询所有内置函数的相关信息。

（1）查看系统内置函数

show functions;

（2）查看内置函数用法

 desc function upper;

（3）查看内置函数详细信息

 desc function extended upper;

2 单行函数

单行函数的特点是一进一出，即输入一行，输出一行。
单行函数按照功能可分为如下几类: 日期函数、字符串函数、集合函数、数学函数、流程控制函数等。

（1）算术运算函数

在这里插入图片描述

案例实操：查询出所有员工的薪水后加1显示

select sal + 1 from emp;

在这里插入图片描述

3 数值函数

（1）round：四舍五入

select round(3.3);

在这里插入图片描述

（2）ceil：向上取整

select ceil(3.1) ;

在这里插入图片描述

（3）floor：向下取整

select floor(4.8);

在这里插入图片描述

4 字符串函数

(1) substring：截取字符串

语法一：substring(string A, int start)
返回值：string
说明：返回字符串A从start位置到结尾的字符串
语法二：substring(string A, int start, int len)
返回值：string
说明：返回字符串A从start位置开始，长度为len的字符串
说明：获取第二个字符以后的所有字符：
在这里插入图片描述
说明：获取倒数第三个字符以后的所有字符

 select substring("atguigu",-3);

在这里插入图片描述
说明：从第3个字符开始，向后获取2个字符

select substring("atguigu",3,2);

在这里插入图片描述

(2) replace ：替换

语法：replace(string A, string B, string C)
返回值：string
说明：将字符串A中的子字符串B替换为C

select replace('atguigu', 'a', 'A')

在这里插入图片描述

(3）regexp_replace：正则替换

语法：regexp_replace(string A, string B, string C)
返回值：string
说明：将字符串A中的符合java正则表达式B的部分替换为C。注意，在有些情况下要使用转义字符。

select regexp_replace('100-200', '(\\d+)', 'num')

在这里插入图片描述

(4）regexp：正则匹配

语法：字符串 regexp 正则表达式
返回值：boolean
说明：若字符串符合正则表达式，则返回true，否则返回false。
说明：正则匹配成功，输出true

select 'dfsaaaa' regexp 'dfsa+'

在这里插入图片描述
说明：正则匹配失败，输出false

select 'dfsaaaa' regexp 'dfsb+';

在这里插入图片描述

(5）repeat：重复字符串

语法：repeat(string A, int n)
返回值：string
说明：将字符串A重复n遍。

select repeat('123', 3);

在这里插入图片描述

(6）split ：字符串切割

语法：split(string str, string pat)
返回值：array
说明：按照正则表达式pat匹配到的内容分割str，分割后的字符串，以数组的形式返回。
在这里插入图片描述

(7）nvl ：替换null值

语法：nvl(A,B)
说明：若A的值不为null，则返回A，否则返回B。

select nvl(null,1);

在这里插入图片描述

(8）concat ：拼接字符串

语法：concat(string A, string B, string C, ……)
返回：string
说明：将A,B,C……等字符拼接为一个字符串

select concat('beijing','-','shanghai','-','shenzhen');

在这里插入图片描述

(9）concat_ws：以指定分隔符拼接字符串或者字符串数组

语法：concat_ws(string A, string…| array(string))
返回值：string
说明：使用分隔符A拼接多个字符串，或者一个数组的所有元素。
在这里插入图片描述
在这里插入图片描述

(10）get_json_object：解析json字符串

语法：get_json_object(string json_string, string path)
返回值：string
说明：解析json的字符串json_string，返回path指定的内容。如果输入的json字符串无效，那么返回NULL。

获取json数组里面的json具体数据

select get_json_object('[{"name":"大海海","sex":"男","age":"25"},{"name":"小宋宋","sex":"男","age":"47"}]','$.[0].name');

在这里插入图片描述
获取json数组里面的数据

select get_json_object('[{"name":"大海海","sex":"男","age":"25"},{"name":"小宋宋","sex":"男","age":"47"}]','$.[0]');

在这里插入图片描述

5 日期函数

(1）unix_timestamp：返回当前或指定时间的时间戳

语法：unix_timestamp()
返回值：bigint
说明：-前面是日期后面是指，日期传进来的具体格式

select unix_timestamp('2022/08/08 08-08-08','yyyy/MM/dd HH-mm-ss');

在这里插入图片描述

(2）from_unixtime：转化UNIX时间戳（从 1970-01-01 00:00:00 UTC 到指定时间的秒数）到当前时区的时间格式

语法：from_unixtime(bigint unixtime[, string format])
返回值：string

select from_unixtime(1659946088);

在这里插入图片描述

(3）current_date：当前日期

select current_date;

在这里插入图片描述

(4）current_timestamp：当前的日期加时间，并且精确的毫秒

select current_timestamp;

在这里插入图片描述

(5）month：获取日期中的月

语法：month (string date)
返回值：int

 select month('2022-08-08 08:08:08');

在这里插入图片描述

(6）day：获取日期中的日

语法：day (string date)
返回值：int

select day('2022-08-08 08:08:08')

在这里插入图片描述

(7）hour：获取日期中的小时

语法：hour (string date)
返回值：int

 select hour('2022-08-08 08:08:08');

在这里插入图片描述

(8）datediff：两个日期相差的天数（结束日期减去开始日期的天数）

语法：datediff(string enddate, string startdate)
返回值：int

 select datediff('2021-08-08','2022-10-09');

在这里插入图片描述

(9）date_add：日期加天数

语法：date_add(string startdate, int days)
返回值：string
说明：返回开始日期 startdate 增加 days 天后的日期

 select date_add('2022-08-08',2);

在这里插入图片描述

(10）date_sub：日期减天数

语法：date_sub (string startdate, int days)
返回值：string
说明：返回开始日期startdate减少days天后的日期。

 select date_sub('2022-08-08',2);

在这里插入图片描述

(11）date_format:将标准日期解析成指定格式字符串

 select date_format('2022-08-08','yyyy年-MM月-dd日')

在这里插入图片描述

6 流程控制函数

(1）case when：条件判断函数

语法一：case when a then b [when c then d]* [else e] end
返回值：T
说明：如果a为true，则返回b；如果c为true，则返回d；否则返回 e

select case when 1=2 then 'tom' when 2=2 then 'mary' else 'tim' end from location;

在这里插入图片描述
语法二： case a when b then c [when d then e]* [else f] end
返回值: T
说明：如果a等于b，那么返回c；如果a等于d，那么返回e；否则返回f

select case 100 when 50 then 'tom' when 100 then 'mary' else 'tim' end from location;

在这里插入图片描述

(2）if: 条件判断，类似于Java中三元运算符

语法：if（boolean testCondition, T valueTrue, T valueFalseOrNull）
返回值：T
说明：当条件testCondition为true时，返回valueTrue；否则返回valueFalseOrNull
条件满足，输出正确

select if(10 > 5,'正确','错误');

在这里插入图片描述
条件满足，输出错误

 select if(10 < 5,'正确','错误');

在这里插入图片描述

7 集合函数

(1）size：集合中元素的个数

 select size(array('beijing','shenzhen','shanghai')) from location;

在这里插入图片描述

(2）map：创建map集合

语法：map (key1, value1, key2, value2, …)
说明：根据输入的key和value对构建map类型

 select map('xiaohai',1,'dahai',2);

在这里插入图片描述

(3）map_keys： 返回map中的key

select map_keys(map('xiaohai',1,'dahai',2));

在这里插入图片描述

(4）map_values: 返回map中的value

select map_values(map('xiaohai',1,'dahai',2));

在这里插入图片描述

(5）array 声明array集合

语法：array(val1, val2, …)
说明：根据输入的参数构建数组array类

 select array('1','2','3','4');

在这里插入图片描述

(6）array_contains: 判断array中是否包含某个元素

 select array_contains(array('a','b','c','d'),'a');

在这里插入图片描述

(7）sort_array：将array中的元素排序

select sort_array(array('a','d','c'));

在这里插入图片描述

(8）struct声明struct中的各属性

语法：struct(val1, val2, val3, …)
说明：根据输入的参数构建结构体struct类

select struct('name','age','weight');

在这里插入图片描述

(9）named_struct声明struct的属性和值

select named_struct('name','xiaosong','age',18,'weight',80);

在这里插入图片描述

8 高级聚合函数

(1）collect_list 收集并形成list集合，结果不去重

在这里插入图片描述

select 
  sex,
  collect_list(job)
from
  employee
group by 
  sex

在这里插入图片描述

(2) collect_set 收集并形成set集合，结果去重

select 
  sex,
  collect_set(job)
from
  employee
group by 
  sex

在这里插入图片描述

9 常用窗口函数

参考以下文章：

开窗函数的使用详解(聚合函数图文详解)

原文链接：https://blog.csdn.net/m0_52606060/article/details/129150481

开窗函数的使用详解(窗口范围ROWS与RANGE图文详解)

原文链接：https://blog.csdn.net/m0_52606060/article/details/129132985

10 自定义函数

参考以下文章：

hive自定义函数及案例

原文链接：https://blog.csdn.net/m0_52606060/article/details/134826464

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1311789.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Unity中的ShaderToy

Unity中的ShaderToy

文章目录 前言一、ShaderToy网站二、ShaderToy基本框架1、我们可以在ShaderToy网站中&#xff0c;这样看用到的GLSL文档2、void mainImage 是我们的程序入口&#xff0c;类似于片断着色器3、fragColor作为输出变量&#xff0c;为屏幕每一像素的颜色&#xff0c;alpha一般赋值为…
阅读更多...
17.分割有效信息【2023.12.9】

17.分割有效信息【2023.12.9】

1.问题描述 有时候我们需要截取字符串以获取有用的信息&#xff0c;比如对于字符串 “日期&#xff1a;2010-10-29”&#xff0c;我们需要截取后面的 10 个字符来获取日期&#xff0c;以便进行进一步分析。编写一个程序&#xff0c;输入一个字符串&#xff0c;然后输出截取后的…
阅读更多...
快速多列查找匹配关键字

快速多列查找匹配关键字

实例需求&#xff1a;根据第一列专业名称&#xff0c;在“专业分类指导目录”中&#xff0c;针对三个学历层次&#xff08;研究生、本科生、专科生&#xff09;分别查找对应专业类别&#xff0c;填写在对应位置&#xff0c;即截图中的黄色区域。 需要注意如下两点&#xff1a; …
阅读更多...
【web安全】万能密码总结

【web安全】万能密码总结

前言 菜某的总结&#xff0c;欢迎提意见补充~ 万能密码的原理 万能密码实际上也算是sql注入的一种。 登录界面是一个与数据库交互的位置&#xff0c;很容易产生sql注入的位置。 我们登录时输入的数据会带入数据库查询进行比对&#xff0c;当用户名与用户的密码对的上的话&…
阅读更多...
大数据云计算——使用Prometheus-Operator进行K8s集群监控

大数据云计算——使用Prometheus-Operator进行K8s集群监控

大数据云计算——使用Prometheus-Operator进行K8s集群监控 一、 背景 在非operator配置的普罗中我们监控k8s集群都是通过配置configmap进行服务发现和指标拉取。切换到prometheus-operator难免会有些使用问题。不少用户已经习惯底层配置自动发现的方式。当过渡到servicemonit…
阅读更多...
Apache DolphinScheduler 社区荣获 “2023 年度优秀开源技术团队“ 奖项

Apache DolphinScheduler 社区荣获 “2023 年度优秀开源技术团队“ 奖项

在开源社区日益繁荣的今天&#xff0c;我们非常荣幸地宣布&#xff1a;Apache DolphinScheduler 社区在 OSCHINA 平台的评选中荣获了“2023 年度优秀开源技术团队”奖项。这一奖项反映了我们社区在过去一年里在内容发表的深度与广度、活动运营影响力以及对开源文化的推广方面所…
阅读更多...
AI浪潮下，大模型如何在音视频领域运用与实践？

AI浪潮下，大模型如何在音视频领域运用与实践？

视频云大模型算法「方法论」。 刘国栋&#xff5c;演讲者 在AI技术发展如火如荼的当下&#xff0c;大模型的运用与实践在各行各业以千姿百态的形式展开。音视频技术在多场景、多行业的应用中&#xff0c;对于智能化和效果性能的体验优化有较为极致的要求。如何运用好人工智能提…
阅读更多...
实验：华为静态路由配置

实验：华为静态路由配置

1.实验目的&#xff1a; 掌握华为路由器和交换机的基本配置方法理解静态路由的原理和作用学习使用vlan和trunk技术划分和连接不同网段能够通过ping命令测试网络连通性和故障排除 2.实验内容&#xff1a; 使用ARI200路由器和S5735交换机搭建如下图所示的网络拓扑在路由器上配…
阅读更多...
HarmonyOS（十二）——全面认识HarmonyOS三种渲染控制

HarmonyOS（十二）——全面认识HarmonyOS三种渲染控制

渲染控制概述 ArkUI通过自定义组件的build()函数和builder装饰器中的声明式UI描述语句构建相应的UI。在声明式描述语句中开发者除了使用系统组件外&#xff0c;还可以使用渲染控制语句来辅助UI的构建&#xff0c;这些渲染控制语句包括控制组件是否显示的条件渲染语句&#xff…
阅读更多...
6.5.编解码器信息的收集

6.5.编解码器信息的收集

那在上节课中呢&#xff1f;我向你介绍了add track相关的内容&#xff0c;那今天呢&#xff1f;我们来看看编解码器信息的收集。那在这里呢&#xff0c;我们需要问几个重要的问题&#xff0c;那首先呢&#xff0c;就是我们上节课通过&#xff0c;可以让web rtc知道我们都要传输…
阅读更多...
《LeetCode力扣练习》代码随想录——字符串（KMP算法学习补充——针对next数组构建的回退步骤进行解释）

《LeetCode力扣练习》代码随想录——字符串（KMP算法学习补充——针对next数组构建的回退步骤进行解释）

《LeetCode力扣练习》代码随想录——字符串&#xff08;KMP算法学习补充——针对next数组构建的回退步骤进行解释&#xff09; 学习路径 代码随想录&#xff1a;28. 实现 strStr() CSDN&#xff1a;【详解】KMP算法——多图&#xff0c;多例子&#xff08;c语言&#xff09; …
阅读更多...
JavaWeb项目中已经导入依赖却报错依赖不存在

JavaWeb项目中已经导入依赖却报错依赖不存在

问题描述 在使用 Maven Servlet Tomcat 来搭建 JavaWeb 项目时&#xff0c;在 pom.xml 中正确引入了依赖&#xff0c;编码过程中也能够正常使用。但是在启动 Tomcat 之后&#xff08;启动时或启动后&#xff09;&#xff0c;却报错显示该依赖不存在。 可能原因 pom.xml 的…
阅读更多...
缓存穿透问题与解决方案

缓存穿透问题与解决方案

目录 引言 1. 缓存穿透的原因 1.1 不存在的数据请求 1.2 缓存键设计不当 2. 缓存穿透的影响 2.1 后端系统负载过重 2.2 数据库压力增大 2.3 用户体验降低 3. 解决缓存穿透的方案 3.1 布隆过滤器 3.2 缓存空对象 3.3 热点数据预加载 3.4 异步更新缓存 3.5 缓存击穿…
阅读更多...
Java集合核心知识点总结

Java集合核心知识点总结

Java集合概述 从集合特点角度出发&#xff0c;Java集合可分为映射集、和单元素集合。如下图所示&#xff0c;单元素集合类图如下: collection包 : 工具单元素集合我们又可以分为&#xff0c;存储不可重复元素的Set集合&#xff0c;可顺序存储重复元素的List&#xff0c;以及F…
阅读更多...
DNS：从域名解析到网络连接

DNS：从域名解析到网络连接

目录 解密 DNS&#xff1a;从域名解析到网络连接的不可或缺 1. DNS的基本工作原理 1.1 本地解析器查询 1.2 递归查询 1.3 迭代查询 1.4 TLD 查询 1.5 权威 DNS 查询 2. DNS的重要性与作用 2.1 地址解析与负载均衡 2.2 网络故障处理与容错 2.3 安全性与防护 3. DNS的…
阅读更多...
生产实践：基于K8S的私有化部署解决方案

生产实践：基于K8S的私有化部署解决方案

随着国内数字化转型的加速和国产化进程推动&#xff0c;软件系统的私有化部署已经成为非常热门的话题&#xff0c;因为私有化部署赋予了企业更大的灵活和控制权&#xff0c;使其可以根据自身需求和安全要求定制和管理软件系统。下面分享下我们的基于k8S私有化部署经验。 私有化…
阅读更多...
Springboot管理系统数据权限过滤（二）——SQL拦截器

Springboot管理系统数据权限过滤（二）——SQL拦截器

上一节Springboot管理系统数据权限过滤——ruoyi实现方案对数据权限实现方案有了认识&#xff0c;本文将进一步优化权限过滤方案&#xff0c;实现对业务代码零入侵。 回顾上一章中权限方案&#xff1a; 主要是通过注解拦截&#xff0c;拼接好权限脚本后&#xff0c;放到对象变…
阅读更多...
每天五分钟计算机视觉：GoogLeNet的核心模型结构——Inception

每天五分钟计算机视觉：GoogLeNet的核心模型结构——Inception

本文重点 当构建卷积神经网络的时候，我们需要判断我们的过滤器的大小，这往往也作为一个超参数需要我们进行选择。过滤器的大小究竟是 11，33 还是 55，或者要不要添加池化层，这些都需要我们进行选择。而本文介绍的Inception网络的作用就是代替你来决定，把它变成参数的一部…
阅读更多...
Improving IP Geolocation with Target-Centric IP Graph (Student Abstract)

Improving IP Geolocation with Target-Centric IP Graph (Student Abstract)

ABSTRACT 准确的IP地理定位对于位置感知的应用程序是必不可少的。虽然基于以路由器为中心&#xff08;router-centric &#xff09;的IP图的最新进展被认为是前沿的&#xff0c;但一个挑战仍然存在&#xff1a;稀疏IP图的流行&#xff08;14.24%&#xff0c;少于10个节点&…
阅读更多...
界面控件DevExpress .NET MAUI v23.1 - 发布一系列新组件

界面控件DevExpress .NET MAUI v23.1 - 发布一系列新组件

DevExpress拥有.NET开发需要的所有平台控件&#xff0c;包含600多个UI控件、报表平台、DevExpress Dashboard eXpressApp 框架、适用于 Visual Studio的CodeRush等一系列辅助工具。屡获大奖的软件开发平台DevExpress 今年第一个重要版本v23.1正式发布&#xff0c;该版本拥有众多…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023