Doris（17）：动态分区

news2024/11/26 8:24:52

动态分区是在 Doris 0.12 版本中引入的新功能。旨在对表级别的分区实现生命周期管理(TTL)，减少用户的使用负担。

目前实现了动态添加分区及动态删除分区的功能。

1 原理

在某些使用场景下，用户会将表按照天进行分区划分，每天定时执行例行任务，这时需要使用方手动管理分区，否则可能由于使用方没有创建分区导致数据导入失败，这给使用方带来了额外的维护成本。

通过动态分区功能，用户可以在建表时设定动态分区的规则。FE 会启动一个后台线程，根据用户指定的规则创建或删除分区。用户也可以在运行时对现有规则进行变更。

2 使用方式

动态分区的规则可以在建表时指定，或者在运行时进行修改。当前仅支持对单分区列的分区表设定动态分区规则。

建表时指定：

CREATE TABLE tbl1
(...)
PROPERTIES
(
    "dynamic_partition.prop1" = "value1",
    "dynamic_partition.prop2" = "value2",
    ...
)

运行时修改:

ALTER TABLE tbl1 SET
(
    "dynamic_partition.prop1" = "value1",
    "dynamic_partition.prop2" = "value2",
    ...
)

3 动态分区规则参数

在实现上，需要修改fe.conf配置文件，动态分区的规则参数都以 dynamic_partition. 为前缀：

  • dynamic_partition.enable

是否开启动态分区特性。可指定为 TRUE 或 FALSE。如果不填写，默认为 TRUE。如果为 FALSE，则 Doris 会忽略该表的动态分区规则。

  • dynamic_partition.time_unit

动态分区调度的单位。可指定为 HOUR、DAY、WEEK、MONTH。分别表示按天、按星期、按月进行分区创建或删除。

  1. 当指定为 HOUR 时，动态创建的分区名后缀格式为 yyyyMMddHH，例如2020032501。小时为单位的分区列数据类型不能为 DATE。
  2. 当指定为 DAY 时，动态创建的分区名后缀格式为 yyyyMMdd，例如20200325。
  3. 当指定为 WEEK 时，动态创建的分区名后缀格式为yyyy_ww。即当前日期属于这一年的第几周，例如 2020-03-25 创建的分区名后缀为 2020_13, 表明目前为2020年第13周。
  4. 当指定为 MONTH 时，动态创建的分区名后缀格式为 yyyyMM，例如 202003。

  • dynamic_partition.time_zone

动态分区的时区，如果不填写，则默认为当前机器的系统的时区，例如 Asia/Shanghai，如果想获取当前支持的时区设置，可以参考 https://en.wikipedia.org/wiki/List_of_tz_database_time_zones。

  • dynamic_partition.start

动态分区的起始偏移，为负数。根据 time_unit 属性的不同，以当天（星期/月）为基准，分区范围在此偏移之前的分区将会被删除。如果不填写，则默认为 -2147483648，即不删除历史分区。

  • dynamic_partition.end

动态分区的结束偏移，为正数。根据 time_unit 属性的不同，以当天（星期/月）为基准，提前创建对应范围的分区。

  • dynamic_partition.prefix

动态创建的分区名前缀。

  • dynamic_partition.buckets

动态创建的分区所对应的分桶数量。

  • dynamic_partition.replication_num

动态创建的分区所对应的副本数量，如果不填写，则默认为该表创建时指定的副本数量。

  • dynamic_partition.start_day_of_week

当 time_unit 为 WEEK 时，该参数用于指定每周的起始点。取值为 1 到 7。其中 1 表示周一，7 表示周日。默认为 1，即表示每周以周一为起始点。

  • dynamic_partition.start_day_of_month

当 time_unit 为 MONTH 时，该参数用于指定每月的起始日期。取值为 1 到 28。其中 1 表示每月1号，28 表示每月28号。默认为 1，即表示每月以1号位起始点。暂不支持以29、30、31号为起始日，以避免因闰年或闰月带来的歧义。

注意事项:

动态分区使用过程中，如果因为一些意外情况导致dynamic_partition.start和dynamic_partition.end 之间的某些分区丢失，那么当前时间与 dynamic_partition.end 之间的丢失分区会被重新创建，dynamic_partition.start与当前时间之间的丢失分区不会重新创建。

4 开启分区功能 

开启动态分区功能，可以在fe.conf中设置dynamic_partition.enable=true，也可以使用命令进行修改，使用命令修改，并dynamic_partition_check_interval_seconds调度时间设置为5秒，意思是每过5秒根据配置刷新分区，这里设置为5秒，真实场景可以设置为12小时

4.1 使用命令

linux下命令

curl --location-trusted -u root:123456 -XGET http://node01:8030/api/_set_config?dynamic_partition_enable=true 

curl --location-trusted -u root:123456 -XGET http://node01:8030/api/_set_config?dynamic_partition_check_interval_seconds=5

或者进入Doris

ADMIN SET FRONTEND CONFIG ("dynamic_partition_enable"="true"); 
ADMIN SET FRONTEND CONFIG ("dynamic_partition_check_interval_seconds"="5");

4.2 创建调度单位为天的分区

创建一张调度单位为天，可以删除历史分区的动态分区表

-- 创建一张调度单位为天，可以删除历史分区的动态分区表
CREATE TABLE order_dynamic_partition1
(
    id int,
    time date,
    money double,
    areaName varchar(50)
)
duplicate key(id,time)
PARTITION BY RANGE(time)()
DISTRIBUTED BY HASH(id) buckets 10
PROPERTIES(
    "dynamic_partition.enable" = "true",
    "dynamic_partition.time_unit" = "DAY",
    "dynamic_partition.start" = "-7",
    "dynamic_partition.end" = "3",
    "dynamic_partition.prefix" = "p",
    "dynamic_partition.buckets" = "10",
    "replication_num" = "1"
);

查看分区表情况SHOW DYNAMIC PARTITIONS TABLES，更新最后调度时间

-- 查看分区表情况SHOW DYNAMIC PARTITIONS TABLES，更新最后调度时间 

SHOW DYNAMIC PARTITION TABLES;

设当前日期为 2023-04-29。则根据以上规则，tbl1 会产生以下分区：

p20230429: ["2023-04-29", "2023-04-30")
p20230430: ["2023-04-30", "2023-05-01")
p20230501: ["2023-05-01", "2023-05-02")
p20230502: ["2023-05-02", "2023-05-03")

在第二天，即 2023-04-30，会创建新的分区 p20230430: ["2023-04-30", "2023-05-01")

在 2023-04-29 时，因为 dynamic_partition.start 设置为 7，则将删除7天前的分区，即删除分区 p20230428。

插入数据测试

insert into order_dynamic_partition1 values(4,'2023-04-29 11:00:00', 300.0, '深圳');
insert into order_dynamic_partition1 values(1,'2023-04-30 11:00:00', 100.0, '北京'); 
insert into order_dynamic_partition1 values(2,'2023-05-01 11:00:00', 200.0, '上海'); 
insert into order_dynamic_partition1 values(3,'2023-05-02 11:00:00', 500.0, '广州');

使用命令查看表下的所有分区：

show partitions from order_dynamic_partition1;

查询分区数据

select * from order_dynamic_partition1;

4.3 创建调度单位为星期的分区

按星期分区，只保留最近2个星期的分区，并且预先创建未来2个星期的分区

表分区列 k1 类型为 DATETIME，创建一个动态分区规则。按星期分区，只保留最近2个星期的分区，并且预先创建未来2个星期的分区

-- 创建一张调度单位为周，保留最近两周的分区数据
CREATE TABLE order_dynamic_partition2
(
	id int,
	time date,
	money double,
	areaName varchar(50)
)
duplicate key(id,time)
PARTITION BY RANGE(time)()
DISTRIBUTED BY HASH(id) buckets 10
PROPERTIES(
    "dynamic_partition.enable" = "true",
    "dynamic_partition.time_unit" = "WEEK",
    "dynamic_partition.start" = "-2",
    "dynamic_partition.end" = "2",
    "dynamic_partition.prefix" = "p",
    "dynamic_partition.buckets" = "10"
);

假设当前日期为 2023-04-29，是 2023 年的第 17 周。默认每周起始为星期一。则根于以上规则，order_dynamic_partition2会产生以下分区：

p2023_17: ["2023-04-24 00:00:00", "2023-05-01 00:00:00")
p2023_18: ["2023-05-01 00:00:00", "2023-05-08 00:00:00")
p2023_19: ["2023-05-08 00:00:00", "2023-05-15 00:00:00")

其中每个分区的起始日期为当周的周一。同时，因为分区列 k1 的类型为 DATETIME，则分区值会补全时分秒部分，且皆为 0。

在 2023-05-15，即第19周时，会删除2周前的分区，即删除 p2023_17。

在上面的例子中，假设用户指定了周起始日为 "dynamic_partition.start_day_of_week" = "3"，即以每周三为起始日。则分区如下：

p2023_17: ["2023-04-26 00:00:00", "2023-05-03 00:00:00")
p2023_18: ["2023-05-03 00:00:00", "2023-05-10 00:00:00")
p2023_19: ["2023-05-10 00:00:00", "2023-05-17 00:00:00")

即分区范围为当周的周三到下周的周二。

注：2022-12-31 和 2023-01-01 在同一周内，如果分区的起始日期为 2022-12-31，则分区名为 p2022_53，如果分区的起始日期为 2023-01-01，则分区名为 p2023_01。

4.4 创建调度单位为月的分区

表分区列 k1 类型为 DATE，创建一个动态分区规则。按月分区，不删除历史分区，并且预先创建未来2个月的分区。同时设定以每月3号为起始日。

创建一张调度单位为月，不删除历史数据

-- 创建一张调度单位为月，不删除历史数据
CREATE TABLE order_dynamic_partition3
(
    id int,
    time date,
    money double,
    areaName varchar(50)
)
duplicate key(id,time)
PARTITION BY RANGE(time)()
DISTRIBUTED BY HASH(id) buckets 10
PROPERTIES(
    "dynamic_partition.enable" = "true",
    "dynamic_partition.time_unit" = "MONTH",
    "dynamic_partition.end" = "2",
    "dynamic_partition.prefix" = "p",
    "dynamic_partition.buckets" = "8",
    "dynamic_partition.start_day_of_month" = "3"
);

假设当前日期为 2023-04-29。则根于以上规则，会产生以下分区：

p202304: ["2023-04-03", "2023-05-03")
p202305: ["2023-05-03", "2023-06-03")
p202306: ["2023-06-03", "2023-07-03")

因为没有设置 dynamic_partition.start，则不会删除历史分区。

假设今天为 2023-04-20，并设置以每月28号为起始日，则分区范围为：

p202304: ["2023-04-28", "2023-05-28")
p202305: ["2023-05-28", "2023-06-28")
p202306: ["2023-06-28", "2023-07-28")

5 查看动态分区表调度情况

通过以下命令可以进一步查看当前数据库下，所有动态分区表的调度情况：

SHOW DYNAMIC PARTITION TABLES;

 

  • LastUpdateTime: 最后一次修改动态分区属性的时间
  • LastSchedulerTime: 最后一次执行动态分区调度的时间
  • State: 最后一次执行动态分区调度的状态
  • LastCreatePartitionMsg: 最后一次执行动态添加分区调度的错误信息
  • LastDropPartitionMsg: 最后一次执行动态删除分区调度的错误信息

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/475570.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【网课平台】Day14.集成RabbitMQ：消息队列实现异步通知

【网课平台】Day14.集成RabbitMQ：消息队列实现异步通知

文章目录 一、需求：支付通知1、需求分析2、技术方案3、集成RabbitMQ4、生产端发送消息5、消费方发送消息 二、需求：在线学习1、需求分析2、表设计与实体类3、接口定义--查询课程4、接口定义获取视频5、Service层开发6、FeignClient定义7、代码完善 三、需…
阅读更多...
数字设计小思 - D触发器与死缠烂打的亚稳态

数字设计小思 - D触发器与死缠烂打的亚稳态

前言 本系列整理数字系统设计的相关知识体系架构，为了方便后续自己查阅与求职准备。在FPGA和ASIC设计中，D触发器是最常用的器件，也可以说是时序逻辑的核心，本文根据个人的思考历程结合相关书籍内容和网上文章，聊一聊D…
阅读更多...
Hudi数据湖技术之数据中心案例实战

Hudi数据湖技术之数据中心案例实战

目录 1 案例架构2 业务数据2.1 客户信息表2.2 客户意向表2.3 客户线索表2.4 线索申诉表2.5 客户访问咨询记录表 3 Flink CDC 实时数据采集3.1 开启MySQL binlog3.2 环境准备3.3 实时采集数据3.3.1 客户信息表3.3.2 客户意向表3.3.3 客户线索表3.3.4 客户申诉表3.3.5 客户访问咨…
阅读更多...
微信小程序 WebSocket 通信 —— 在线聊天

微信小程序 WebSocket 通信 —— 在线聊天

在Node栏目就讲到了Socket通信的内容，使用Node实现Socke通信，还使用两个流行的WebSocket 库，ws 和 socket.io，在小程序中的WebSocket接口和HTML5的WebSocket基本相同，可以实现浏览器与服务器之间的全双工通信。那么本篇…
阅读更多...
SSH 服务器、NFS 服务器、TFTP 服务器详解及测试

SSH 服务器、NFS 服务器、TFTP 服务器详解及测试

文章目录 前言一、SSH 服务器1、SSH 能做什么？2、安装 SSH 服务器3、测试 SSH 服务4、用 SecureCRT 测试 二、NFS 服务器1、NFS 能做什么？2、安装 NFS 软件包3、添加 NFS 共享目录4、启动 NFS 服务5、测试 NFS 服务器 三、TFTP 服务器1、TFTP 能做什么&a…
阅读更多...
轻松掌握mysql事务的四大特性ACID及实现原理

轻松掌握mysql事务的四大特性ACID及实现原理

1、介绍 要实现这四大特性，我们先了解下mysql中的缓冲池和数据页 2、保证原子性和一致性 1、通过undo log保证数据的原子性和一致性 undo log保证了事务的原子性和一致性。 3、保证隔离性 1、并发事务产生时容易产生的隔离性问题 脏读 不可重复读 幻读…
阅读更多...
【数据库复习】第四章数据库保护 1

【数据库复习】第四章数据库保护 1

数据库安全性： 数据库的一大特点是数据可以共享 数据共享必然带来数据库的安全性问题 数据库系统中的数据共享不能是无条件的共享 用户标识与鉴别 用户名和口令易被窃取，每个用户预先约定好一个计算过程或者函数 存取控制 常用存取控制方法 自主存…
阅读更多...
电子电气架构——车辆E/E架构常识

电子电气架构——车辆E/E架构常识

我是穿拖鞋的汉子，魔都中坚持长期主义的工程师。 老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师： 人只有在举棋不定，无从把握的时候才感到疲惫。只有去行动就能获得解放，哪怕做的不好也比无所作为强！ 本文主要介绍车辆E/E架构常识，主要涉及E/E架构面临…
阅读更多...
LNMP、Tomca

LNMP、Tomca

构建Nginx服务器 使用源码包安装nginx软件包 [rootproxy ~]# yum -y install gcc pcre-devel openssl-devel #安装依赖包 [rootproxy ~]# useradd -s /sbin/nologin nginx [rootproxy ~]# tar -xf nginx-1.17.6.tar.gz [rootproxy ~]# cd nginx-1.17.6 [rootproxy …
阅读更多...
【Shell编程之循环语句与函数】

【Shell编程之循环语句与函数】

目录 一、for循环语句示例:示例1示例2 示例3 二、跳出循环举例 转义符三、while 语句的结构示例: 四、until语句的结构1、基本格式 五、seq命令 一、for循环语句 读取不同的变量值&#xff0c;用来逐个执行同一组命令 #!/bin/bash for(( i0;i<5;i ))i0 定义for循环i变量初…
阅读更多...
【逻辑位移和算数位移】

【逻辑位移和算数位移】

<< 运算符 && >> 运算符 正数位移 当 x>>n 中 x 为正数时&#xff0c;会将x的所有位右移x位&#xff0c;同时左边高位补0 显而易见&#xff0c;运算结束后&#xff0c;值为1 。 可知右移n位&#xff0c;结果就是 x / 2^n&#xff1a;7 / 2 ^2 1;…
阅读更多...
运行vue项目报DONE Build complete. The dist directory is ready to be deployed.解决办法

运行vue项目报DONE Build complete. The dist directory is ready to be deployed.解决办法

一、问题描述 今天在运行一个vue项目时发现运行途中报这样一个错误&#xff0c;经过查阅相关资料可知&#xff0c;这是dist文件夹下 二、解决办法 根据官方文档&#xff0c;目录需要启动一个 HTTP 服务器来访问 (除非你已经将 publicPath 配置为了一个相对的值)&#xff0c;所…
阅读更多...
flex垂直方向布局与overflow结合使用

flex垂直方向布局与overflow结合使用

主要是需要留意 flex布局和overflow 之间的关系&#xff0c; 最外面的container 和 里面的main-box 之间分别使用了flex布局 和 overflow:hiddenmain-box 和 里面的main-body 之间分别使用了 flex布局 和 overflow:auto 有点类似于聊天的窗口布局 <!DOCTYPE html> <h…
阅读更多...
zabbix监控远程主机

zabbix监控远程主机

zabbix监控远程主机 在Zabbix服务器上安装Zabbix代理程序 在远程主机上安装Zabbix代理程序。安装方式取决于操作系统&#xff0c;可以从Zabbix官网上下载相应的安装包进行安装。 监控agent1 在agent1上安装agent yum install zabbix-agent另外在zabbix server上要关闭防火…
阅读更多...
4.29 作业

4.29 作业

阅读更多...
【前端知识】内存泄漏与垃圾回收机制 （上）

【前端知识】内存泄漏与垃圾回收机制 （上）

【前端知识相关分享】内存泄漏与垃圾回收机制 &#xff08;上&#xff09; 1. 内存的生命周期1.1 内存生命周期的一般流程1.2 C&#xff0c;JS和python内存分配和释放的区别 2. JS中的内存管理2.1 两种数据类型与两种内存一个思考2.2 两种内存空间的区别对比 3. 内存泄漏的定义…
阅读更多...
code1

code1

阅读更多...
HMM理论学习笔记-隐马尔可夫模型的三个元素、假设和问题

HMM理论学习笔记-隐马尔可夫模型的三个元素、假设和问题

文章目录 概率论基础条件概率全概公式边缘概率联合概率联合概率与边缘概率的关系贝叶斯公式&#xff08;条件联合概率&#xff09;马尔科夫链的概念 HMM简述HMM的三个元素符号定义1、状态转移概率矩阵A2、观测概率矩阵B3、初始状态概率向量π HMM的三个假设1、齐次马尔可夫假设…
阅读更多...
netstat命令解析

netstat命令解析

一、linux系统中netstat命令的帮助信息 └──╼ $netstat -h usage: netstat [-vWeenNcCF] [<Af>] -r netstat {-V|--version|-h|--help}netstat [-vWnNcaeol] [<Socket> ...]netstat { [-vWeenNac] -i | [-cnNe] -M | -s [-6tuw] }-r, --route …
阅读更多...
VMware12安装图解

VMware12安装图解

目录 一、介绍VMware虚拟机 二、安装VMware12虚拟机 三、VMware虚拟机内部新建虚拟机 清理磁盘 一、介绍VMware虚拟机 VMware是一个虚拟机。 什么是虚拟机&#xff1f;字面意思‘虚拟’&#xff0c;那就不算是真的&#xff1b;‘机’可以理解为一台电脑或者一个电脑系统。…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023