hadoop---基于Hive的数据仓库相关函数机制及其优化方案

news2024/12/22 16:19:17

Hive相关函数（部分）：

  • if函数:

    • 作用: 用于进行逻辑判断操作

    • 语法: if(条件, true返回信息,false返回信息)

    • 注意: if函数支持嵌套使用

  • select if(a=a,’bbbb’,111) fromlxw_dual;
bbbb
select if(1<2,100,200) fromlxw_dual;
200

  • nvl函数:

    • 作用: null值替换函数

    • 格式: nvl(T value, T default_value)

  • select nvl(principal,1)  from mydb.aaaaa;
1

  • COALESCE函数

    • 作用: 非空查找函数:

    • 格式: coalesce(值1,值2,值3...)

    • 说明: 从第一个值开始判断, 找到第一个不为null的值, 将其返回, 如果都为null,返回null

  • select COALESCE(null,’aaa’,50) from lxw_dual;
aaa

  • CASE WHEN THEN 函数:

    • 格式1: case 字段 when 条件 then 值1 when 条件 then 值2 .. else 值3 end

    • 格式2: case when 条件 then 值1 when 条件2 then 值2 .. else 值3 end

  • select case 100
    when 50 then 'tom'
    when 100 then 'mary'
    else 'tim' end
from lxw_dual;
mary
select case 200 when 50 then 'tom'when 100 then 'mary' else 'tim' end from lxw_dual;
tim

  • isnull() | isnotnull() 函数

作用:
isnull()判断是否为null,如果为null返回true,否则返回false
isnotnull()判断是否不为null,如果不为null,返回true,如果为null返回falsel

hive的并行优化：

并行编译：

Hive默认同时只能编译一段HiveSQL，并上锁。

将hive.driver.parallel.compilation设置为true，各个会话可以同时编译查询，提高团队工作效率。否则如果在UDF中执行了一段HiveQL，或者多个用户同时使用的话, 就会锁住。

修改hive.driver.parallel.compilation.global.limit的值，0或负值为无限制，可根据团队人员和硬件进行修改，以保证同时编译查询。

说明:

         hive在同一时刻只能编译一个会话中SQL, 如果有多个会话一起来执行SQL, 此时出现排队的情况, 只有当这一个会话中SQL全部编译后, 才能编译另一个会话的SQL, 导致执行效率变慢
解决方案:
        hive.driver.parallel.compilation 是否开启并行编译 设置为true   
        hive.driver.parallel.compilation.global.limit 最大允许同时有多少个SQL一起编译 设置为0表示无限制
        这两项可以建议直接在CM的hive配置窗口上进行永久配置 (通用配置)

 并行执行：

Hive会将一个查询转化为一个或多个阶段，包括：MapReduce阶段、抽样阶段、合并阶段、limit阶段等。默认情况下，一次只执行一个阶段。不过，如果某些阶段不是互相依赖，是可以并行执行的。

set hive.exec.parallel=true,可以开启并发执行，默认为false。

set hive.exec.parallel.thread.number=16; //同一个sql允许的最大并行度，默认为8。

说明:

        在运行一个SQL的时候, 这个SQL形成的执行计划中, 可能会被拆分为多个阶段, 当各个阶段之间没有依赖关系的时候, 可以尝试让多个阶段同时运行, 从而提升运行的效率, 这就是并行执行
    配置方案:
        set hive.exec.parallel=true;  是否开启并行执行
        set hive.exec.parallel.thread.number=16;  最大允许并行执行的数量

关于并行优化, 必须要求服务器有资源, 如果没有资源, 及时满足并行的条件, 也不会执行

 Hive小文件合并：

HDFS中namenode中存储的元数据是什么？

在Hadoop Distributed File System (HDFS)中，NameNode负责存储元数据，这意味着它管理着文件系统的逻辑视图和文件的物理布局信息。具体来说，元数据包括但不限于以下几个方面：

  1. 文件系统命名空间：包括文件和目录的名称、目录结构以及这些实体之间的层级关系。
  2. 文件属性：每个文件或目录的属性，如创建时间、访问权限、修改时间、所有权信息等。
  3. 文件块信息：文件被切分成多个块（默认大小通常为128MB或更大），NameNode存储了每个文件对应的块列表，以及这些块的版本信息。
  4. 块位置信息：虽然NameNode不永久保存块的确切物理位置（这些信息由DataNodes动态报告并在系统启动时重建），但它知道每个块应该有多少副本，以及这些副本的大致分布情况。
  5. 副本放置策略信息：NameNode还跟踪副本放置策略，确保数据块在集群中的分布符合预定规则，比如机架感知策略，以优化数据读取速度和容错性。

元数据的管理对于确保文件系统的高效运作至关重要，它使得NameNode能够快速响应客户端的文件读写请求，指导客户端找到所需数据块的确切位置。值得注意的是，NameNode为了提高效率，会将大部分元数据存储在内存中，而较为静态的部分（如fsimage，即文件系统镜像）和对元数据的更改记录（edits log）则存储在磁盘上，并通过Secondary NameNode（或更现代的Hadoop版本中的Checkpoint Node）定期合并以减少NameNode重启时的恢复时间。

小文件有什么影响呢?

HDFS角度: 
    每一个小文件, 都会有一份元数据, 当小文件过多后, 会导致出现大量的元数据存储namenonde的内存中, 从而导致内存使用率增大, 一旦namenode内存存满了, 即使datanode依然有空间, 也是无法存储的

MR角度: 
    在运行MR的时候, 每一个文件至少是一个文件切片, 也就意味至少需要运行一个mapTask. 当小文件过多后, 就会导致产生更多的mapTask, 而每一个mapTask只处理极少的数据, 导致资源被大量占用, 运行的时间都没有申请资源时间长
    假设: 150M  10M 8M 300M  12M 6M  请问会运行几个mapTask: 9个

从hive角度如何解决小文件过多的问题呢?

 在执行SQL的时候, 输出的文件数量尽量变得少一些

hive.merge.mapfiles : 是否开启map端小文件合并 (适用于MR只有map没有reduce, map输出结果就是最终结果)
hive.merge.mapredfiles : 是否开启reduce端小文件合并操作
hive.merge.size.per.task: 合并后输出文件的最大值 ,默认是128M
hive.merge.smallfiles.avgsize: 判断输出各个文件平均大小, 当这个大小小于设置值, 认为出现了小文件问题,需要进行合并操作

示例:

        设置合并文件后, 输出最大值128M, 设置平均值为 50M
    假设一个MR输出一下几个文件: 
         1M,10M,5M,3M,150M,80M,2M  平均值:35.xxx
        
        发现输出的多个文件的平均值比设定的平均值要小, 说明出现小文件的问题, 需要进行合并, 此时会合并结果为:
        128M,123M

矢量化查询：

hive的默认查询执行引擎一次处理一行，而矢量化查询执行是一种hive特性，目的是按照每批1024行读取数据，并且一次性对整个记录整合（而不是对单条记录）应用操作，注意：要使用矢量化查询执行，就必须以ORC格式存储数据。

set hive.vectorized.execution.enabled=true;

读取零拷贝：

ORC可以使用新的HDFS缓存API和ZeroCopy读取器来避免在扫描文件时将额外的数据复制到内存中。

set hive.exec.orc.zerocopy=true;

说明: 在hive读取数据的时候, 只需要读取跟SQL相关的列的数据即可, 不使用列, 不进行读取, 从而减少读取数据, 提升效率
  
    示例: A表有 a,b,c,d,e 五个字段
        select a,b,b  from A where b=xxx and c between xx and xxx;
        发现SQL中没有使用d和e两个字段, 如果开启读取零拷贝, 在读取数据的时候, 就不会将d和e这两个字段读取到内存中 

数据倾斜的优化：

什么是数据倾斜呢?

在运行过程中,有多个reduce, 每一个reduce拿到的数据不是很均匀, 导致其中某一个或者某几个reduce拿到数据量远远大于其他的reduce拿到数据量, 此时认为出现了数据倾斜问题

 数据倾斜会导致问题?

1) 执行效率下降(整个执行时间, 就看最后一个reduce结束时间)
2) 由于其中某几个reduce长时间运行, 资源长期被占用, 一旦超时, YARN强制回收资源, 导致运行失败
3) 导致节点出现宕机问题
....

在执行什么SQL的时候, 会出现多个reduce的情况呢?

1) 多表join的时候
2) 执行group by的时候
3) 执行分桶操作(跟数据倾斜没太大关系) 

 如何解决数据倾斜的问题呢?

group by 数据倾斜

方案一:  采用combiner的方式来解决 (在map端提前聚合)
    核心: 在每一个mapTask进行提前聚合操作, 将聚合之后结果, 发送给reduce中, 完成最终的聚合, 从而减少从map到reduce的数据量, 减轻数据倾斜压力
    配置: 
        set hive.map.aggr=true;  开启map端提前聚合操作(combiner)

开启map端combiner。此配置可以在group by语句中提高HiveQL聚合的执行性能。这个设置可以将顶层的聚合操作放在Map阶段执行，从而减轻数据传输和Reduce阶段的执行时间，提升总体性能。默认开启，无需显示声明。

方案二:  负载均衡解决方案  (大combiner)
    核心: 采用两个MR来解决, 第一个MR负责将数据均匀落在不同reduce上, 进行聚合统计操作, 形成一个局部的结果, 在运行第二个MR读取第一个MR的局部结果, 按照相同key发往同一个reduce的方案, 完成最终聚合统计操作。

第一个MR Job中，Map 的输出结果集合会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理的结果是相同的Group By Key有可能被分发到不同的Reduce中，从而达到负载均衡的目的；

第二个MR Job再根据预处理的数据结果按照Group By Key分布到Reduce中（这个过程可以保证相同的Group By Key被分布到同一个Reduce中），最后完成最终的聚合操作。
    
    配置: 
        set hive.groupby.skewindata=true;

    注意:
        一旦使用方案二, hive不支持多列上的采用多次distinct去重操作, 一旦使用, 就会报错
            错误内容: DISTINCT on different columns notsupported with skew in data.
        示例: 
            (1) SELECT count(DISTINCT uid) FROM log
            (2) SELECT ip, count(DISTINCT uid) FROM log GROUP BY ip
            (3) SELECT ip, count(DISTINCT uid, uname) FROMlog GROUP BY ip
            (4) SELECT ip, count(DISTINCT uid), count(DISTINCT uname) FROMlog GROUP BY ip
            其中: 1,2,3 是可以正常执行的, 4会报错

join的数据倾斜

解决方案一 : 

通过采用 map join,bucket map join, SMB map join
    方案: 将reduce端join的操作, 移植到map端进行join即可, 直接将倾斜排除即可, 因为在map端基本不会有倾斜问题

但是: 不管是map join, 还是 bucket map join以及SMB map join在使用的时候 都必须满足相关的条件, 但是很多时候, 我们的环境无法满足这些条件, 那么也就意味无法使用这些解决方案

解决方案二:

思路: 将那些容易产生倾斜的key的值, 从这个环境中, 排除掉, 这样自然就没有倾斜问题, 讲这些倾斜的数据单独找一个MR来处理即可
    
    处理方案:  
        编译期解决方案:
            配置:
                set hive.optimize.skewjoin.compiletime=true;
            建表:
                CREATE TABLE list_bucket_single (key STRING, value STRING)
                -- 倾斜的字段和需要拆分的key值
                SKEWED BY (key) ON (1,5,6)
                --  为倾斜值创建子目录单独存放
                [STORED AS DIRECTORIES];
            说明:
                当明确知道表中那些key的值有倾斜问题, 一般采用编译期解决, 在建表的时候, 提前设置好对应值有倾斜即可, 这样在执行的时候, hive会直接将这些倾斜的key的值从这个MR排除掉, 单独找一个MR来处理即可
        
        运行期解决方案:
            配置: 
                set hive.optimize.skewjoin=true; 是否开启运行期倾斜解决join
                set hive.skewjoin.key=100000; 当key出现多少个的时候, 认为有倾斜
            
            说明: 
                在执行的过程中, hive会记录每一个key出现的次数, 当出现次数达到设置的阈值后, 认为这个key有倾斜的问题, 直接将这个key对应数据排除掉, 单独找一个MR来处理即可

建议:
    如果提前知道表中有那些key有倾斜, 直接使用编译期即可
    如果仅知道一部分, 对于其他key无法保证, 建议编译期和运行期同时开启

union all相关优化点：

配置项:
    set hive.optimize.union.remove=true;
作用:
    此项配置减少对Union all子查询中间结果的二次读写

说明:
    此项配置一般和join的数据倾斜组合使用

 

如何感知有数据倾斜？

方案一: 通过查看 job history历史日志(19888)   适用于MR已经执行完成了。

 

 

 方案二: 在运行过程中借助HUE查看：

 

关联优化器

在Hive的一些复杂关联查询中，可能同时还包含有group by等能够触发shuffle的操作，有些时候shuffle操作是可以共享的，通过关联优化器选项，可以尽量减少复杂查询中的shuffle，从而提升性能。 

配置:
    set hive.optimize.correlation=true;

说明:
    在Hive的一些复杂关联查询中，可能同时还包含有group by等能够触发shuffle的操作，有些时候shuffle操作是可以共享的，通过关联优化器选项，可以尽量减少复杂查询中的shuffle，从而提升性能。
比如: 
    select  id,max(id)  from itcast_ods.web_chat_ems group by id;
    union all
    select  id,min(id)  from itcast_ods.web_chat_ems group by id;

 总结：

常开项: 
set hive.exec.parallel=true;  是否开启并行执行
set hive.exec.parallel.thread.number=16;  最大允许并行执行的数量
set hive.vectorized.execution.enabled=true; 矢量化查询
set hive.exec.orc.zerocopy=true; 读取零拷贝
set hive.optimize.correlation=true; 关联优化器

针对性开启:
set hive.map.aggr=true; 开启 group by combiner数据倾斜方案
set hive.groupby.skewindata=true;开启groupby 负载均衡优化

set hive.optimize.skewjoin.compiletime=true; join的编译期优化

set hive.optimize.skewjoin=true; 是否开启运行期倾斜解决join
set hive.skewjoin.key=100000; 当key出现多少个的时候, 认为有倾斜

set hive.optimize.union.remove=true; union all优化

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1648230.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Windows平台下Redis通过配置文件解决密码重置问题

Windows平台下Redis通过配置文件解决密码重置问题

Reids会在每次重启服务器后重置通过指令设置的密码&#xff0c;通过修改配置文件中的密码则可以避免这一问题&#xff0c;保证密码的永久有效性。&#xff08;注意点&#xff1a;博主已经配置好了Redis的系统环境变量&#xff0c;所以不用进入到Redis目录下&#xff0c;也能直接…
阅读更多...
MYSQL RR隔离级别下无索引更新是否表锁?

MYSQL RR隔离级别下无索引更新是否表锁?

最近在MYSQL菜鸟群有群友提问,说他看了某个公众号里面文章说 "MYSQL RR隔离级别下无索引更新会导致表锁! " 他表示疑惑,而且不仅是他,还有很多个她在不同的群里同样表示疑惑! 下面是群友的截图 是啊 MYSQL 以及进化到了8.3.0版本了,普遍都使用5.7和8.0版本.而且还…
阅读更多...
运营商实名认证API接口如何对接

运营商实名认证API接口如何对接

运营商实名认证API接口又叫手机号实名认证API接口&#xff0c;根据入参字段不同&#xff0c;分为两类。一类是运营商手机二要素核验API接口&#xff0c;一类是运营商手机三要素核验API接口。运营商手机二要素验证API接口指的是传入姓名及手机号码&#xff0c;通过运营商权威渠道…
阅读更多...
FX95GT FX505GT windows 11 触摸板安装

FX95GT FX505GT windows 11 触摸板安装

FX95GT FX505GT windows 11 触摸板驱动安装 如果正常使用 exe 文件安装不上&#xff0c;请在 ‘设置’ 》 ‘系统信息 ’》 驱动下载地址 如果正常使用 exe 文件安装不上&#xff0c;请在 ‘设置’ 》 ‘系统信息 ’》 高级系统设置 设备管理 在电脑上点右键&#xff0c;选择…
阅读更多...
合肥先进光源束测步进电机控制机箱接线方式

合肥先进光源束测步进电机控制机箱接线方式

合肥先进光源束测步进电机控制方案介绍 对上篇文里的接线方式做个修订&#xff1a; EtherCat电机控制机箱接线规范 驱动器 控制器 接线方式 使用鸣志 STF05-ECX-H驱动器&#xff0c;每个机箱配8个驱动器使用汇川的H5U-1614MTD etherCat控制器每个驱动器的电源从2分8的分配端子…
阅读更多...
GitHub搭建免费博客

GitHub搭建免费博客

一、GitHub仓库准备 ​ 搭建博客需要准备两个仓库。一个存放博客图床的仓库&#xff0c;另一个存放博客网站的仓库。 1.1、图床创建 新建仓库 第一步&#xff1a; ​ 第二步&#xff1a; 生成Token令牌 点击右上角头像->Settings->下拉&#xff0c;直到左侧到底&#…
阅读更多...
Tmux工具使用案例

Tmux工具使用案例

Tmux工具使用案例 连接linux一般使用ssh&#xff0c;当ssh会话中需要长时间执行命令时&#xff0c;为了避免命令不受ssh会话影响&#xff0c;除了可以将命令通过nohup <cmd> &等方法放到后台执行外&#xff0c;也可以利用Tmux这个工具解绑SSH会话与执行命令&#xff…
阅读更多...
【Python文本数据系列】使用TextCNN模型进行文本情感分析（案例+源码）

【Python文本数据系列】使用TextCNN模型进行文本情感分析（案例+源码）

这是我的第273篇原创文章。 一、引言 当使用深度学习处理文本分类任务时&#xff0c;遵循的流程如下&#xff1a; 首先&#xff0c;准备数据&#xff0c;而且数据量要大&#xff0c;才能发挥神经网络的优势&#xff1b; 再者&#xff0c;进行文本预处理&#xff0c;将文本数据…
阅读更多...
Adobe-Premiere-CEP 扩展 入门-视频剪辑-去气口插件-Silence Remover

Adobe-Premiere-CEP 扩展 入门-视频剪辑-去气口插件-Silence Remover

短视频&#xff0c;这两年比较火&#xff0c;不要再问为什么用Premiere&#xff0c;非常难用&#xff0c;为什么不用某影&#xff0c;某些国内软件非常接地气简单&#xff0c;又例如某音资深的视频短编辑就很好用了。。。 Premiere二次开发调试难&#xff0c;不如自己搞个cons…
阅读更多...
（41）5.6-5.7数据结构（栈和队列的应用）

（41）5.6-5.7数据结构（栈和队列的应用）

1.栈在括号匹配中的应用 #define _CRT_SECURE_NO_WARNINGS #define MaxSize 10 typedef struct { char data[MaxSize];//静态数组存放栈中元素 int top; //栈顶指针 }SqStack;//初始化栈 void InitStack(SqStack& S);//判断栈是否为空 bool StackEmpty(SqStack S…
阅读更多...
python：机器学习特征优选

python：机器学习特征优选

作者&#xff1a;CSDN _养乐多_ 在Python中进行机器学习特征选择的方法有很多种。以下是一些常用的方法&#xff1a; 过滤法&#xff08;Filter Methods&#xff09;&#xff1a;通过统计方法或者相关性分析来评估每个特征的重要性&#xff0c;然后选择最相关的特征。常用的…
阅读更多...
Obsidian dataview 使用入门

Obsidian dataview 使用入门

Dataview有四种展示格式&#xff1a;list、table、task、calendar。 本文只介绍前面两种。 语法总结 通过#标签 dataview LIST FROM #标签 通过"文件夹" dataview LIST FROM "文件夹名" 通过[ [ 文件链接 ] ] 选择链接到一个文件&#xff0c;或者…
阅读更多...
​分享1.36G全国村名点数据

​分享1.36G全国村名点数据

数据是GIS的血液&#xff01; 我们在《2015年中国电子地图数据》一文中&#xff0c;为大家有偿分享了一份图层丰富&#xff0c;且有26.8G大小的全国电子地图。 这里再为大家分享一份有1.36G大小的全国村名数据&#xff0c;本数据来自网友分享&#xff0c;据说为2023年的村名数…
阅读更多...
1688 API集成，智能选品铺货Fecify，多语言支持，全球畅销无忧！

1688 API集成，智能选品铺货Fecify，多语言支持，全球畅销无忧！

跨境独立站铺货&#xff0c;一般都是无库存模式&#xff0c;大致思路&#xff1a;卖家没有进行商品的采购囤货&#xff0c;先采集商品数据&#xff0c;发布到独立站&#xff0c;推广引流出单后&#xff0c;用订单商品的图片&#xff0c;去1688用图片搜商品&#xff0c;采购订单…
阅读更多...
新书速览|图神经网络基础、模型与应用实战

新书速览|图神经网络基础、模型与应用实战

掌握PyTorch图神经网络基础与模型&#xff0c;实战自然语言处理、计算机视觉、推荐系统、社交网络应用开发 01 本书内容 图神经网络不仅能够解决传统机器学习方法无法解决的图数据问题&#xff0c;而且能够应用于许多实际场景&#xff0c;例如社交网络、药物发现、网络安全、…
阅读更多...
Redis是什么？ 日常运维 Redis 需要注意什么 ？ 怎么降低Redis 内存使用 节省内存？

Redis是什么？ 日常运维 Redis 需要注意什么 ？ 怎么降低Redis 内存使用 节省内存？

你的项目或许已经使用 Redis 很长时间了&#xff0c;但在使用过程中&#xff0c;你可能还会或多或少地遇到以下问题&#xff1a; 我的 Redis 内存为什么增长这么快&#xff1f;为什么我的 Redis 操作延迟变大了&#xff1f;如何降低 Redis 故障发生的频率&#xff1f;日常运维…
阅读更多...
VMP 简单源码分析（.net）

VMP 简单源码分析（.net）

虚拟机 获取CPU的型号 实现了一个指令集解释器&#xff0c;每个操作码对应一个特定的处理函数&#xff0c;用于执行相应的指令操作。在执行字节码时&#xff0c;解释器会根据操作码查找并调用相应的处理函数来执行指令。 截获异常 先由虚拟机处理 处理不了再抛出异常 priva…
阅读更多...
如何利用工作流自定义一个AI智能体

如何利用工作流自定义一个AI智能体

选择平台 目前已经有不少大模型平台都提供自定义智能体的功能&#xff0c;比如 百度的文心 https://agents.baidu.com/ 阿里的百炼平台 https://bailian.console.aliyun.com/。 今天再来介绍一个平台扣子&#xff08;https://www.coze.cn/&#xff09;&#xff0c;扣子是…
阅读更多...
贡献思维，CF1644E. Expand the Path

贡献思维，CF1644E. Expand the Path

目录 一、题目 1、题目描述 2、输入输出 2.1输入 2.2输出 3、原题链接 二、解题报告 1、思路分析 2、复杂度 3、代码详解 一、题目 1、题目描述 2、输入输出 2.1输入 2.2输出 3、原题链接 Problem - 1644E - Codeforces 二、解题报告 1、思路分析 很容易想明白被…
阅读更多...
探秘WebSQL：轻松构建前端数据库

探秘WebSQL：轻松构建前端数据库

欢迎来到我的博客&#xff0c;代码的世界里&#xff0c;每一行都是一个故事 探秘WebSQL&#xff1a;轻松构建前端数据库 前言WebSQL简介WebSQL的基本操作WebSQL的实际应用WebSQL的局限性和替代方案 前言 在Web的世界里&#xff0c;我们总是追求更好的用户体验和更快的响应速度…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023