postgresql数据库创建表分区和分区分区查询失效问题

news2024/11/28 3:37:24

postgresql数据库创建表分区和分区失效场景

    • 一、前言
    • 二、分区表创建
      • 1、范围分区(Range Partitioning)
      • 2、列表分区(List Partitioning)
      • 3、hash分区(hash Partitioning)
    • 三、表分区查询失效问题

一、前言

在postgresql数据库单库单表数据量比较大的场景,会导致查询性能比较慢,所有这种场景单库单表的优化,就是创建分库分表,这种修改比较简单,不涉及业务层的变更,又能提高性能。

二、分区表创建

表分区:
表分区是指在逻辑上将一个大表拆分为较小的物理部分。分区可以带来几个好处:

  • 在某些情况下,查询性能可以显著提高,尤其是当表的大多数大量访问的行都放在单个分区或少量分区中时。分区取代了索引的前导列,减小了索引大小,使索引中大量使用的部分更可能适合内存。
  • 当查询或更新访问单个分区的很大一部分时,可以通过利用该分区的顺序扫描来提高性能,而不是使用分散在整个表中的索引和随机访问读取。
  • 如果分区设计中计划了分区,则可以通过添加或删除分区来完成批量加载和删除。使用执行或删除单个分区比批量操作快得多。
  • 很少使用的数据可以迁移到更便宜、更慢的存储介质。
  • 只有当一个表会很大时,这些好处通常才是值得的。表将从分区中受益的确切点取决于应用程序,尽管经验法则是表的大小应超过数据库服务器的物理内存。

PostgreSQL从10版本支持通过表继承来实现表的分区。父表是普通表并且正常情况下并不存储任何数据,它的存在只是为了代表整个数据集。
从11版本开始PostgreSQL可实现如下3种表分区:

  • 范围分区 每个分区表包含一个或多个字段组合的一部分,并且每个分区表的范围互不重叠。比如可近日期范围分区
  • 列表分区 分区表显示列出其所包含的列值
  • 哈希分区
    PostgreSQL11版本引入,可以根据自定义的hash规则,通过为每个分区指定模数和余数来对表进行分区。每个分区将保存分区键的哈希值除以指定的模数将生成指定余数的行。

我们主要通过这三种方式实现分区分表:

1、范围分区(Range Partitioning)

根据表中某一列的值范围将表分割成若干个分区。例如,可以按照时间字段(如日期)创建按年、月、日的范围分区。

CREATE TABLE person_record(
   id int4,
	 dev_code VARCHAR,
	 pass_time TIMESTAMP,
	 person_id VARCHAR,
	 remark TEXT
)PARTITION BY RANGE(pass_time);

CREATE TABLE person_record_time_20240831 PARTITION OF person_record FOR VALUES FROM ('2024-08-31 00:00:00') TO ('2024-08-31 23:59:59');
CREATE TABLE person_record_time_20240901 PARTITION OF person_record FOR VALUES FROM ('2024-09-01 00:00:00') TO ('2024-09-01 23:59:59');

查询结果:
分区查询:
在这里插入图片描述
查询所有:
在这里插入图片描述

可以使用系统调度器,如 Crontab (Linux, Unix, etc.)Task Scheduler (Windows)周期性执行创建分表的sql语句;

2、列表分区(List Partitioning)

在列表分区中,数据根据已指定的离散值进行分区。当需要对地区、部门等离散数据进行任意值分组时,这种方法效果很好。例如职位名称、按地区划分等。
我们以区域地点作为列分区:

CREATE TABLE person_record_list(
   id int4,
	 dev_code VARCHAR,
	 pass_time TIMESTAMP,
	 region VARCHAR,
	 person_id VARCHAR,
	 remark TEXT
)PARTITION BY list(region);

CREATE TABLE shandong PARTITION OF person_record_list FOR VALUES IN ('shandong');
CREATE TABLE beijing PARTITION OF person_record_list FOR VALUES IN ('beijing');

执行结果:

分区查询:
在这里插入图片描述
查询所有:
在这里插入图片描述

3、hash分区(hash Partitioning)

基于哈希hash的分区表通常用于将数据均匀地分布到多个分区中,以便实现更好的负载均衡和查询性能。

CREATE TABLE person_record_hash(
   id int4,
	 dev_code VARCHAR,
	 pass_time TIMESTAMP,
	 type_key int4,
	 person_id VARCHAR,
	 remark TEXT
)PARTITION BY HASH(type_key);

CREATE TABLE table_1 PARTITION OF person_record_hash FOR VALUES WITH (MODULUS 2,REMAINDER 0);
CREATE TABLE table_2 PARTITION OF person_record_hash FOR VALUES WITH (MODULUS 2,REMAINDER 1);

分区查询:
在这里插入图片描述
查询全部:
在这里插入图片描述

三、表分区查询失效问题

时间类型不匹配导致的分表查询失效

失效查询实例:

EXPLAIN SELECT
	* 
FROM
	person_record_time 
WHERE
	1 = 1 
	AND pass_time BETWEEN CEILING ( EXTRACT ( epoch FROM CURRENT_TIMESTAMP - INTERVAL '1day 5 hours' ) * 1000 ) 
	AND CEILING ( EXTRACT ( epoch FROM CURRENT_TIMESTAMP ) * 1000 )

执行结果:
在这里插入图片描述
解决方式
把时间类型强转成bigint类型,如下:

EXPLAIN SELECT
	* 
FROM
	person_record_time 
WHERE
	1 = 1 
	AND pass_time BETWEEN CEILING ( EXTRACT ( epoch FROM CURRENT_TIMESTAMP - INTERVAL '1day 5 hours' ) * 1000 ) ::BIGINT
	AND CEILING ( EXTRACT ( epoch FROM CURRENT_TIMESTAMP ) * 1000 )::BIGINT

执行结果:
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2099829.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

AcWing算法基础课-785快速排序-Java题解

大家好,我是何未来,本篇文章给大家讲解《AcWing算法基础课》785 题——快速排序。这篇文章介绍了使用快速排序算法对整数数列进行排序的方法,包括选择基准元素、分区操作和递归排序子数组。通过详细的步骤和示例,解释了快速排序的…

Axure打造科技感数据可视化大屏原型

在数字化浪潮的推动下,数据已成为企业决策不可或缺的核心驱动力。面对海量且复杂的数据集,如何高效解读并转化为洞见,是企业面临的重大挑战。数据可视化,尤其是科技感十足的大屏展示,不仅为企业提供了直观的数据洞察&a…

9,sql 约束

创建表时添加非空约束 create table sys3(name int,age int not null) 建表后修改 alter table sys3 modify name int null 删除 创建表时添加默认值约束 关键字 default 默认值的意思 后面跟着默认的值create table sys_4(列名1 数据类型 default 默认值,列名2 数据类型 no…

网络安全售前入门09安全服务——安全加固服务

目录 1.服务概述 2.流程及工具 2.1服务流程 2.2服务工具 3.服务内容 ​​​​​​​4.服务方式 ​​​​​​​5.风险规避措施 ​​​​​​​6.服务输出 1.服务概述 安全加固服务是参照风险评估、等保测评、安全检查等工作的结果,基于科学的安全思维方式、长期的安全…

Apache CloudStack Official Document 翻译节选(十三)

快速部署一朵 Apache CloudStack 云 (二) 部署一朵pache CloudStack 云 安装Apache CloudStack的云内管理服务组件 本部分我们将安装Apache CloudStack的云内管理服务组件及周边工具。 关于数据库的安装与配置: 我们会安装和配置MySQL并配…

【机器学习入门】一文读懂非线性支持向量机SVM

前面已经分别介绍了基于硬间隔最大化的线性可分支持向量机、基于软间隔最大化的线性支持向量机,这次来总结下使用核函数来解决非线性可分问题的非线性支持向量机。 【机器学习入门】一文读懂线性可分支持向量机【机器学习入门】一文读懂线性支持向量机SVM 一 非线…

GCViT实战:使用GCViT实现图像分类任务(一)

摘要 GC ViT(全局上下文视觉转换器)是一种创新的深度学习架构,旨在提升计算机视觉任务中的参数和计算效率。它通过将全局上下文自注意力模块与标准的局部自注意力相结合,有效地建模长程和短程空间交互,同时避免了传统…

IJCAI-信也科技杯全球AI大赛-华东师范大学亚军队伍分享

作者:彭欣怡(找不到工作版) 华东师范大学; 马千里(搬砖版) 虾皮; 指导:闫怡搏(科研版) 华东师范大学 比赛链接:https://ai.ppdai.com/mirror/goToMirrorDetailSix?mirrorId34 前言 这是我们首次参加语音领域的比赛,最初只是抱着…

深度学习之 OpenCV 图像边缘检测算法解析及代码演示

引言 在计算机视觉领域,边缘检测是一种重要的图像预处理技术,用于识别图像中对象的边界。边缘检测有助于提取图像的关键特征,这对于后续的图像分析(如物体识别、运动检测等)至关重要。OpenCV 是一个强大的计算机视觉库…

Zabbix 企业级高级应用(Zabbix Enterprise Advanced Application)

💝💝💝欢迎来到我的博客,很高兴能够在这里和您见面!希望您在这里可以感受到一份轻松愉快的氛围,不仅可以获得有趣的内容和知识,也可以畅所欲言、分享您的想法和见解。 推荐:Linux运维老纪的首页…

备忘录1【java环境变量手动更改】

B站视屏链接:https://www.bilibili.com/video/BV1cV8BeCESA?vd_source3e4562475feb55327a8adde111050d4e 1.电脑设置 2.系统-------系统信息 3.高级系统设置 4.环境变量 5.系统变量中,更改之前创建好的JAVA_HOME 版本可以将1.8改成本机安装的其他版本…

Java进阶13讲__第九讲

Stream流 1. 案例初体验 package cn.hdc.oop9.stream.using;import java.util.LinkedList; import java.util.List; import java.util.stream.Collectors; import java.util.stream.Stream;public class t1 {public static void main(String[] args) {LinkedList<String&g…

认知杂谈30

今天分享 有人说的一段争议性的话 I I 《豁然开朗&#xff1a;男性成长的关键转折》 在男人的人生旅程当中啊&#xff0c;最金贵的可不是那些让人眼馋的钱财啥的&#xff0c;也不是啥惊天动地的事儿&#xff0c;更不是偶尔碰到的贵人帮忙。真正无价的宝贝呢&#xff0c;是在…

培训第四十一天(docker-compose一键部署项目,haproxy容器代理多个web或java容器)

# 创建脚本&#xff0c;可以在java环境中运行任何的jar包或者war包#!/bin/bash/usr/local/jdk/bin/java -jar /java/src/*.?ar 一、思路分析&#xff1a; &#xff08;1&#xff09;nginx 1、下载镜像&#xff0c;将本地的dist项目的目录挂载在容器的/usr/share/nginx/html…

论文解读:Visual Prompt Tuning

Comment: ECCV2022 摘要 当前调整预训练模型的方法需要更新backbone的全部参数&#xff0c;即完全微调。本文提出了一种高效的方法VPT&#xff0c;成为视觉中大规模transformer模型完全微调的替代方案。从微调大规模语言模型中吸取经验&#xff0c;VPT仅在输入空间中引入少数…

【C语言】通讯录的实现(详解)

通讯录的实现 主要用到的知识&#xff1a; 1.结构体相关知识 2.枚举 3.多文件 在学习完结构体和枚举后就可以利用学过的知识去实现一个通讯录了 1.通讯录要求 用C语言所学知识实现下面这样一个通讯录 1.通讯录100个联系人 2.姓名 性别 年龄 电话 地址 3.添加联系人 4.删除指…

SQL server数据库实现远程跨服务器定时同步传输数据

项目背景 公司新建项目&#xff0c;需要访问生产数据&#xff0c;但是规定不能直接访问生产数据库服务器&#xff0c;所以得考虑通过中间库的形式实现。经过评估项目需求 &#xff0c;以及当前拥有的环境。 需求&#xff1a; 1.用户不需要实时获取生产数据 2.用户只需要指定的…

Python青少年简明教程:函数

Python青少年简明教程&#xff1a;函数 在Python中&#xff0c;函数是一段可重用的代码块&#xff0c;用于执行特定的任务。函数能够接受输入参数&#xff0c;执行特定的操作&#xff0c;并返回结果。 Python提供了许多内置函数&#xff0c;如print()、len()、eval()等&#x…

Java基于微信小程序的校园兼职小程序

博主介绍&#xff1a;✌stormjun、7年大厂程序员经历。全网粉丝12w、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ &#x1f345;文末获取源码联系&#x1f345; &#x1f447;&#x1f3fb; 精彩专栏推荐订阅&#x1f447;&…

shadertoy-sdf 操作

vec3 col getBackgroundColor(uv); float d1 sdCircle(uv, 0.1, vec2(0., 0.)); float d2 sdSquare(uv, 0.1, vec2(0.15, 0));float res; // result1、union res min(d1, d2); // union2、intersection res max(d1, d2); // intersection3、subtraction res max(-d1, d…