Hive常用内置函数、窗口函数及自定义函数

news2024/12/23 23:53:37

文章目录

  • 一、字符串函数
  • 二、数值函数
  • 三、日期函数
  • 四、其余常用函数
  • 五、窗口函数
    • 5.1、语法
    • 5.2、常用窗口函数
  • 六、自定义函数
    • 6.1、自定义UDF函数
    • 6.2、自定义UDTF函数
    • 6.3、将自定义函数导入hive中
      • 6.3.1、将项目打成jar包
      • 6.3.2、将jar包传入hive目录
      • 6.3.3、在hive中加载jar包
      • 6.3.4、设置函数

  • 查看内置函数

show functions;

示例：
在这里插入图片描述

  • 查看内置函数用法

desc function 函数名;

示例：
在这里插入图片描述

  • 查看内置函数详细信息

desc function extended abs;

示例：
在这里插入图片描述

一、字符串函数

Hive字符串函数用于处理字符串类型的数据，包括截取、拼接、替换、转换大小写等操作。下面列举Hive中常用的字符串函数:

函数介绍示例
CONCAT(str1, str2, …)用于拼接多个字符串
SUBSTR(str, start, length)用于截取字符串中的一部分
REPLACE(str, search, replacement)用于将字符串中的指定子串替换为另一个字符串
TRIM(str)用于去除字符串两侧的空格
LOWER(str)将字符串转换为小写
UPPER(str)将字符串转换为大写
LENGTH(str)用于获取字符串的长度
INSTR(str, substr)用于获取字符串中子串的位置
REGEXP_EXTRACT(str, regexp)用于从字符串中提取符合正则表达式的子串
SPLIT(str, delimiter)用于将字符串按照指定的分隔符进行拆分
CONCAT_WS(separator, str1, str2, …)用于拼接多个字符串，并在它们之间添加指定的分隔符
INITCAP(str)将字符串中的每个单词的首字母转换为大写

二、数值函数

Hive数值函数用于处理数字类型的数据，包括加减乘除、求绝对值、取余数、四舍五入、向上取整、向下取整等操作。下面列举Hive中常用的数值函数：

函数介绍示例
ABS(n)用于获取一个数的绝对值
CEIL(n)用于将一个数向上取整
FLOOR(n)用于将一个数向下取整
ROUND(n, d)用于将一个数四舍五入到指定的小数位数
EXP(n)用于获取一个数的指数函数值
RAND()用于获取一个0到1之间的随机数
BIN(n)用于将一个十进制数转换为二进制数
HEX(n)用于将一个十进制数转换为十六进制数

三、日期函数

Hive提供了许多日期和时间函数，以下是一些常用的：

函数介绍示例
current_date()返回当前日期，格式为 ‘yyyy-MM-dd’
current_timestamp()返回当前时间戳，格式为 ‘yyyy-MM-dd HH:mm:ss.SSS’。
date_format(date, pattern)将日期格式化为指定模式的字符串
year(date)返回日期的年份
quarter(date)返回日期的季度
month(date)返回日期的月份
day(date)返回日期的天数
datediff(enddate, startdate)计算两个日期之间相差的天数
date_add(date, days)给定日期加上指定天数
date_sub(date, days)给定日期减去指定天数

四、其余常用函数

函数介绍示例
map_key(map<K,V>)获取 Map 类型列中所有键的集合
map_value(map<K,V>)获取Map 类型列中所有值的集合
stack(n, v1, v2, …, vn)创建一个包含 n 个元素的栈
explode(array<T> a) \ explode(map<K,V> m)将包含数组或Map类型的列中的元素分解成多行
json_tuple(jsonStr, p1, p2, …, pn)从JSON字符串中提取指定的字段值
get_json_object(json_string, json_path)从JSON字符串中提取指定的字段值
CAST(expression AS data_type)将一个数据类型转换为另一个数据类型
  • stack(n, v1, v2, …, vn)：

stack()函数在将多个列合并成一个列时，会将每个值都放在一个单独的行中。这意味着，输出结果的行数将是输入列数的n倍。如果需要将多个列按行合并到一个列中，可以考虑使用concat()函数或其他字符串函数。

五、窗口函数

  • Hive窗口函数（Window Functions）是Hive中一种强大的分析函数，它们提供了一种在一组行中计算聚合值的方式。与常规聚合函数不同的是，窗口函数在查询结果中可以添加额外的列，这些列的值可以基于聚合函数的结果计算。
  • 在Hive中，窗口函数使用OVER子句来指定要计算的行集合。在OVER子句中，可以指定窗口的边界条件（如窗口的大小、窗口的起始位置、窗口的结束位置等），以及要应用的聚合函数。一旦指定了OVER子句，Hive就会将结果集划分成指定的窗口，并计算每个窗口的聚合值。

5.1、语法

<window_function> ([expression]) OVER (
  [PARTITION BY partition_expression, ...]
  [ORDER BY sort_expression [ASC | DESC], ...]
  [ROWS BETWEEN frame_start AND frame_end]
)

其中，<window_function> 是窗口函数的名称，expression 是要进行聚合计算的列或表达式。OVER子句中可以使用以下参数：

  • PARTITION BY：指定分组列，用于将结果集划分成不同的分组，每个分组内部进行聚合计算。
  • ORDER BY：指定排序列，用于将每个分组内的行进行排序。
  • ROWS BETWEEN：指定窗口的边界条件，即要计算的行集合。常见的窗口类型包括：
    • UNBOUNDED PRECEDING：窗口从分组的第一行开始。
    • CURRENT ROW：窗口从当前行开始。
    • UNBOUNDED FOLLOWING：窗口从分组的最后一行结束。
    • <number> PRECEDING：窗口向前移动指定行数。
    • <number> FOLLOWING：窗口向后移动指定行数。
    • BETWEEN <start> AND <end>：指定窗口的起始位置和结束位置，其中 <start> 和 <end> 可以是以上任何类型。

5.2、常用窗口函数

函数描述
ROW_NUMBER()为每一行分配一个唯一的序号
RANK()为每个唯一的值分配一个序号，如果有重复值，则序号相同
DENSE_RANK()与RANK()函数类似，但是如果有重复值，则序号不会跳过相同的值
FIRST_VALUE()返回窗口中第一个值
LAST_VALUE()返回窗口中最后一个值
LEAD()返回窗口中指定行之后的值
LAG()返回窗口中指定行之前的值
SUM()计算窗口中指定列的和
AVG()计算窗口中指定列的平均值
MAX()返回窗口中指定列的最大值
MIN()返回窗口中指定列的最小值

六、自定义函数

创建maven项目，导入依赖

<dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>3.8.1</version>
      <scope>test</scope>
    </dependency>
    <dependency>
      <groupId>org.apache.hive</groupId>
      <artifactId>hive-exec</artifactId>
      <version>3.1.2</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-client</artifactId>
      <version>3.1.3</version>
    </dependency>
    <!--  若3.1.3不可用则使用1.1.0  -->
    <!--
    <dependency>
      <groupId>org.apache.hive</groupId>
      <artifactId>hive-jdbc</artifactId>
      <version>1.1.0</version>
    </dependency>-->
    <dependency>
      <groupId>org.apache.hive</groupId>
      <artifactId>hive-jdbc</artifactId>
      <version>3.1.3</version>
    </dependency>

6.1、自定义UDF函数

UDF(User-Defined-Function) 一进一出，继承了org.apache.hadoop.hive.ql.exec.UDF类，并复写了evaluate方法。

示例：将两个字符串传入，合到一起并全部转换成小写。

package org.example.udf;

import org.apache.hadoop.hive.ql.exec.UDF;

/**
 * @program: hivefunction
 * @interfaceName LowerUDF
 * @description:
 * @author: 太白
 * @create: 2023-02-24 14:08
 **/
public class LowerUDF extends UDF {
    public String evaluate(final String txt,final String txt2){
        String res = txt + ", " + txt2;
        return res.toLowerCase();

    }

    public static void main(String[] args) {
        LowerUDF lowerUDF = new LowerUDF();
        System.out.println(lowerUDF.evaluate("aaa", "BBBBB"));
    }
}

在这里插入图片描述

6.2、自定义UDTF函数

UDTF(User-Defined Table-Generating Functions)一进多出，继承org.apache.hadoop.hive.ql.udf.generic.GenericUDTF。

示例：将list转{“aa,bb,cc”,“3,4,1”}转换成map前面与后面一一对应。

package org.example.udtf;

import com.google.common.collect.Lists;
import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;

import java.util.ArrayList;
import java.util.LinkedList;

/**
 * @program: hivefunction
 * @interfaceName ArrayToMapUDTF
 * @description:
 * @author: 太白
 * @create: 2023-02-25 08:49
 **/

public class ArrayToMapUDTF extends GenericUDTF {

    @Override
    public StructObjectInspector initialize(StructObjectInspector argOIs) throws UDFArgumentException {
        ArrayList<String> colName = Lists.newArrayList();
        colName.add("key");
        colName.add("value");

        LinkedList<ObjectInspector> resType = Lists.newLinkedList();

        resType.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        resType.add(PrimitiveObjectInspectorFactory.javaIntObjectInspector);

//        返回内容为列名和列的数据类型
        return ObjectInspectorFactory.getStandardStructObjectInspector(colName, resType);
    }
    private Object[] obj = new Object[2];
    @Override
    public void process(Object[] args) throws HiveException {

        if (args != null && args.length==2) {
            String[] keys = args[0].toString().split(",");
            String[] values = args[1].toString().split(",");
            for (int i = 0; i < keys.length; i++) {
                String key = keys[i];
                Integer value = 0;
                if (values.length>=i+1)
                    value = Integer.valueOf(values[i]);
                obj[0] = key;
                obj[1] = value;
                forward(obj);
            }
        }else {
            return;
        }
    }
    @Override
    public void close() throws HiveException {

    }
}

在这里插入图片描述

6.3、将自定义函数导入hive中

6.3.1、将项目打成jar包

在这里插入图片描述

6.3.2、将jar包传入hive目录

传入hive的lib目录下
在这里插入图片描述

6.3.3、在hive中加载jar包

add jar /opt/soft/hive312/lib/…jar;

6.3.4、设置函数

创建临时函数
create temporary function 函数名 as ‘引用路径’;
创建函数
create function 函数名 as ‘引用路径’;

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/404349.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

C++回顾（二十五）—— map/multimap容器

C++回顾（二十五）—— map/multimap容器

25.1 map/multimap的简介 map是标准的关联式容器&#xff0c;一个map是一个键值对序列&#xff0c;即(key,value)对。它提供基于key的快速检索能力。map中key值是唯一的。集合中的元素按一定的顺序排列。元素插入过程是按排序规则插入&#xff0c;所以不能指定插入位置。map的…
阅读更多...
BN,LN,IN,GN的理解和用法

BN,LN,IN,GN的理解和用法

绿色区域表示将该区域作用域(四种方法都贯穿了w,h维度)&#xff0c;即将该区域数值进行归一化&#xff0c;变为均值为0&#xff0c;标准差为1。BN的作用区域时N,W,H,表示一个batch数据的每一个通道均值为0&#xff0c;标准差为1&#xff1b;LN则是让每个数据的所有channel的均值…
阅读更多...
新一代跨平台云备份工具Duplicacy

新一代跨平台云备份工具Duplicacy

什么是 Duplicacy &#xff1f; Duplicacy 是一款云备份软件&#xff0c;通过 Duplicacy 可以将视频&#xff0c;图片&#xff0c;文件&#xff0c;注册表等数据备份到云端。Duplicacy 通过客户端加密和最高级别的重复数据删除功能&#xff0c;将您的文件备份到许多云存储。 安…
阅读更多...
SQL查漏补缺

SQL查漏补缺

有这么一道题&#xff0c;先看题目&#xff0c;表的内容如下 显示GDP比非洲任何国家都要高的国家名称(一些国家的GDP值可能为NULL)。 错误的查询&#xff1a; SELECT name FROM bbcWHERE gdp > ALL (SELECT gdp FROM bbc WHERE region Africa)正确的查询&#xff1a; SE…
阅读更多...
C++ 11 pair

C++ 11 pair

class pair 可将两个 value视为一个单元。C标准库内多处用到了这个 class 。尤其是容器 map、multimap、unordered_map和 unordered_multimap就是使用 pair 来管理其以 key/value pair形式存在的元素。任何函数如果需要返回两个 value&#xff0c;也需要用到 pair&#xff0c;例…
阅读更多...
Windows使用Stable Diffusion时遇到的各种问题和知识点整理（更新中...）

Windows使用Stable Diffusion时遇到的各种问题和知识点整理（更新中...）

Stable Diffusion安装完成后&#xff0c;在使用过程中会出现卡死、文件不存在等问题&#xff0c;在本文中将把遇到的问题陆续记录下来&#xff0c;有兴趣的朋友可以参考。 如果要了解如何安装sd&#xff0c;则参考本文《Windows安装Stable Diffusion WebUI及问题解决记录》。如…
阅读更多...
九龙证券|盘前直接腰斩，银行巨头紧急“拔网线”！美股银行股又崩了？

九龙证券|盘前直接腰斩，银行巨头紧急“拔网线”！美股银行股又崩了？

见证历史了&#xff0c;又有一家银行巨子倒下&#xff1f; 美股银行股团体暴降 上一交易日暴降超60%的硅谷银行持续面对腥风血雨。盘前&#xff0c;硅谷银行跌幅超50%&#xff0c;随后&#xff0c;公司宣布盘前暂停交易&#xff0c;等待刊发消息。 而最新消息显现&#xff0c…
阅读更多...
Spring Cloud Gateway 超时、CORS配置 | Spring Cloud 17

Spring Cloud Gateway 超时、CORS配置 | Spring Cloud 17

一、Http超时配置 Spring Cloud Gateway 可以为所有路由配置 Http 超时&#xff08;响应和连接&#xff09;&#xff0c;并为每个特定路由覆盖设置。 1.1 全局超时 配置全局 http 超时&#xff1a; connect-timeout必须以毫秒为单位指定。response-timeout必须指定为 java.…
阅读更多...
[qiankun+nuxt]子应用请求本地文件报错404

[qiankun+nuxt]子应用请求本地文件报错404

前言 目前公司的前端架构是qiankunnuxt做的微前端项目 问题说明 在子应用中&#xff0c;前端需要模拟一些数据&#xff0c;方便后期演示调整而不需要重新打包 所以将一些数据存储到了本地的json文件中&#xff0c;但是获取时报了404的错误&#xff0c;找不到该文件。 页面报错…
阅读更多...
Springboot是什么

Springboot是什么

目录 为什么会要用springboot 1、之前 2、现在 springboot优点 springboot四大核心 自动装配介绍 1、自动装配作用是什么 2、自动装配原理 springboot starter是什么 1、starter作用 2、比如&#xff1a;我们想搭建java web框架 3、starter原理 SpringBootApplica…
阅读更多...
ROS小车研究笔记3/11/2023：多点导航及其源码实现

ROS小车研究笔记3/11/2023：多点导航及其源码实现

多点导航操作 打开导航launch文件 roslaunch turn_on_wheeltec_robot navigation.launch rviz 在rviz里&#xff0c;选择publish point在地图上点击标记目标点。在标记多个目标点后小车会按标记顺序依次在各个目标点中往返 多点导航对于话题MarkerArray。需要在rviz中使marke…
阅读更多...
网页基本标签、图像标签、链接标签、块内元素和块元素、列表标签、表格标签

网页基本标签、图像标签、链接标签、块内元素和块元素、列表标签、表格标签

一、网页基本标签 标题标签 段落标签 未写段落标签前&#xff0c;文本没有按照想要的格式排列显示 写段落标签后&#xff1a; 每句都是一段&#xff0c;所以句与句距离比较宽 换行标签 同一段&#xff0c;只是把文字换行&#xff0c;所以比较紧凑 水平线标签 字体样式标签 …
阅读更多...
【深度学习】神经网络和深度学习--卷积和池化的作用

【深度学习】神经网络和深度学习--卷积和池化的作用

深度学习通常指训练大型深度的神经网络的过程。 与传统的神经网络模型相比&#xff0c;深度学习模型在结构上与之非常相似&#xff1b;不同的是&#xff0c;深度学习模型的“深度”更大&#xff0c;“深度”的体现就是神经网络层数多&#xff0c;神经网络每一层的结点数多。 本…
阅读更多...
# 关于Docker容器中时间时区问题的测试

# 关于Docker容器中时间时区问题的测试

关于Docker容器中时间时区问题的测试 文章目录关于Docker容器中时间时区问题的测试1 基础知识1.1 /etc/localtime1.2 /etc/timezone2 我在gitlab中遇到的问题与解决方法3 ubuntu官方镜像时区相关问题的测试3.0 官方原版测试3.1 不设置任何参数测试3.2 只设置TZ"Asia/Shang…
阅读更多...
Spring Cloud Gateway 监控、多网关实例路由共享 | Spring Cloud 18

Spring Cloud Gateway 监控、多网关实例路由共享 | Spring Cloud 18

一、监控 Actuator是Spring Boot提供的用来对应用系统进行监控的功能模块&#xff0c;借助于Actuator开发者可以很方便地对应用系统某些监控指标进行查看、统计等。 Actuator的核心是端点Endpoint。 Endpoint可以让我们监视应用程序并与其交互。Spring Boot包含许多内置端点…
阅读更多...
rapidcsv 写csv文件实例

rapidcsv 写csv文件实例

csv实质是一个文本文件&#xff0c;可以使用rapidcsv写文件操作&#xff0c;如下实例&#xff1a; 第一行实质是从-1行开始&#xff0c;列是从0开始 #include "rapidcsv.h" #include <string> using namespace std; void CMFCApplication1Dlg::OnBnClickedBu…
阅读更多...
【flask】URL和视图映射

【flask】URL和视图映射

目录 首页 传参 URL数据类型 get传参 首页 url与视图函数的映射是通过app.route()装饰器实现的。 只有一个斜杠代表的是根目录——首页。 传参 URL传参是通过<参数名称>的形式进行传递。URL中有几个参数&#xff0c;在视图函数中也要指定几个参数 from flask im…
阅读更多...
WattOS：一个稳又快的轻量级 Linux 发行版

WattOS：一个稳又快的轻量级 Linux 发行版

导读Linux 领域里的每个人不是听说过就是使用过某个轻量级的 Linux 发行版。大家都知道我们不断追求的是&#xff1a;占用内存少&#xff0c;配置资源要求低&#xff0c;包含一个轻量级的桌面环境&#xff08;或者窗口管理器&#xff09;&#xff0c;并且提供和其他发行版相似的…
阅读更多...
从官网下载/处理 MNIST 数据集，并构造CNN网络训练

从官网下载/处理 MNIST 数据集，并构造CNN网络训练

这里写自定义目录标题MNIST 网络 测试用1. 导入所需要的模块2. 下载 MNIST 数据集3. 读取 MNIST 数据集MNIST 网络 测试用 1. 导入所需要的模块 import sys sys.path.append(../../) from zfdplearn import fdutils, fdtorch_net, fddata import os import os.path as path i…
阅读更多...
# 数据完整性算法在shell及python中的实践

# 数据完整性算法在shell及python中的实践

数据完整性算法在shell及python中的实践 文章目录数据完整性算法在shell及python中的实践1 预备知识1.1 摘要算法1.2 报文&#xff08;数据&#xff09;完整性校验1.3 python byte类型字符串与普通字符串区别2 传统方法&#xff08;散列函数&#xff09;2.1 在shell中实践2.2 在…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023