经验分享｜MySQL分区实战（RANGE）

news2024/11/18 3:49:18

概述

分区概述

在 MySQL 中， InnoDB存储引擎长期以来一直支持表空间的概念。在 MySQL 8.0 中，同一个分区表的所有分区必须使用相同的存储引擎。但是，也可以为同一 MySQL 服务器甚至同一数据库中的不同分区表使用不同的存储引擎。

通俗地讲表分区是将一大表，根据条件分割成若干个小表。MySQL 5.1开始支持数据表分区操作。为了改善大型表以及具有各种访问模式的表的可伸缩性，可管理性和提高数据库效率，我们做出了表分区的概念。表分区有如下优点：

存储更多的数据
对于失去保存意义的数据，删除有关的分区，很容易地删除那些数据，相比较delete语句和truncate语句，删除分区更容易。
查询可以得到极大优化，虽然可以增加索引、主键和外键。
很容易地进行并行处理聚合函数SUM()和COUNT()。
增加查询吞吐量。
重要：分区适用于表的所有数据和索引；您不能只对数据进行分区而不对索引进行分区，反之亦然，也不能只对表的一部分进行分区。

分区类型

MySQL 8.0 中可用的分区类型。其中包括此处列出的类型：

范围分区。 这种类型的分区根据落在给定范围内的列值将行分配给分区。
LIST 分区。 类似于分区 by RANGE，不同之处在于分区是根据与一组离散值中的一个匹配的列来选择的。
哈希分区。 使用这种类型的分区，根据用户定义的表达式返回的值选择分区，该表达式对要插入表的行中的列值进行操作。
KEY分区。 这种类型的分区类似于分区 by HASH，只是只提供了一个或多个要评估的列，并且 MySQL 服务器提供了自己的散列函数。
列分区。包含列范围分区（RANGE COLUMNS partitioning）和列集合分区（LIST COLUMNS partitioning）。
子分区。子分区（也称为 复合分区（Subpartitioning））是对分区表中每个分区的进一步划分。
数据库分区的一个非常常见的用途是按日期分隔数据。一些数据库系统支持显式日期分区，而 MySQL 在 8.0 中没有实现。但是，在 MySQL 中创建基于[DATE]、 [TIME]、 或 [DATETIME]列或基于使用这些列的表达式的分区方案并不困难 。MySQL的分区是采用最优化 [TO_DAYS()]， [YEAR()]和 [TO_SECONDS()]功能，也可以使用其他日期和时间函数返回一个整数或者NULL。

重要：要记住——无论您使用哪种分区类型——分区总是在创建时自动按顺序编号，从 0. 当新行插入到分区表中时，这些分区号用于标识正确的分区。

1 分区管理

RANGE 分区和 LIST 分区的管理的新增和删除差不多，下面我就用比较常用的RANGE 分区作为实战。

1.1 创建带有分区的表

可以在命令行执行，也可以在工具Navicat界面工具里面执行下面的语句，下面我将展示我在Navicat界面工具里面执行情况以及执行后返回的结果。

【插入数据脚本】

CREATE TABLE tb_tr (
  id INT COMMENT "ID编号", 
  name VARCHAR(50) COMMENT "名称", 
  purchased DATE COMMENT "购买时间",
  PRIMARY KEY (`id`, `purchased`) USING BTREE COMMENT "主键",
  INDEX `idx_id`(id) COMMENT "索引-id",
  INDEX `idx_name`(name) COMMENT "索引-名称",
  INDEX `idx_purchased`(purchased) COMMENT "索引-购买"
) ENGINE = InnoDB AUTO_INCREMENT = 1 CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic 
    COMMENT '购买日志'
PARTITION BY RANGE( YEAR(purchased) ) (
  PARTITION p0 VALUES LESS THAN (1990) ENGINE = InnoDB,
  PARTITION p1 VALUES LESS THAN (1995) ENGINE = InnoDB,
  PARTITION p2 VALUES LESS THAN (2000) ENGINE = InnoDB,
  PARTITION p3 VALUES LESS THAN (2005) ENGINE = InnoDB,
  PARTITION p4 VALUES LESS THAN (2010) ENGINE = InnoDB,
  PARTITION p5 VALUES LESS THAN (2015) ENGINE = InnoDB,
  PARTITION p6 VALUES LESS THAN (2020) ENGINE = InnoDB
  PARTITION pmax VALUES LESS THAN (MAXVALUE) ENGINE = InnoDB
);

OK, Time: 0.055000s

【插入数据结果展示】
在这里插入图片描述

这里我创建了名称为p0、p1、p2、p3、p4、p5、pmax 六个分区。其中p0和pmax分区比较特别，这里可以理解为数学上面的分区函数或分段函数，从函数上，很好理解分区到底是什么概念。
在这里插入图片描述

1.2 插入几条数据

【插入数据脚本】

INSERT INTO tb_tr VALUES
    (1, 'desk organiser', '2003-10-15'),
    (2, 'alarm clock', '1997-11-05'),
    (3, 'chair', '2009-03-10'),
    (4, 'bookcase', '1989-01-10'),
    (5, 'exercise bike', '2014-05-09'),
    (6, 'sofa', '1987-06-05'),
    (7, 'espresso maker', '2011-11-22'),
    (8, 'aquarium', '1992-08-04'),
    (9, 'study desk', '2006-09-16'),
    (10, 'lava lamp', '1998-12-25');
    
Affected rows: 10, Time: 0.004000s

【插入数据结果展示】
在这里插入图片描述

1.3 查看分区内的数据

下面的结果是一样的，但是效果不一样。可以使用EXPLAIN查看下执行计划。

SELECT * FROM tb_tr PARTITION (p2);

SELECT * FROM tb_tr WHERE purchased BETWEEN '1995-01-01' AND '1999-12-31';

1.4 删除分区

删除分区时，也会删除该分区中存储的所有数据。必须先拥有该[DROP](表的 权限，然后才能 ALTER TABLE ... DROP PARTITION对该表执行。

ALTER TABLE tb_tr DROP PARTITION p2;
OK, Time: 0.022000s

那有没有可以在不删除数据的情况下，删除分区呢？答案是有的，请使用ALTER TABLE ... REORGANIZE PARTITION改用。对于按范围分区的表，您只能 ADD PARTITION将新分区添加到分区列表的高端。这就意味着，需要从pmax分区再次分出来一张表空间，例如

1.5 增加分区

1.5.1 增加分区

如果使用这种方式增加分区，那么你得到的将会是错误的提示

1481 - MAXVALUE can only be used in last partition definition, Time: 0.002000s

1.5.2 重新组织为两个新分区

ALTER TABLE tb_tr
    REORGANIZE PARTITION pmax INTO (
      PARTITION p6 VALUES LESS THAN (2020) ENGINE = InnoDB, 
      PARTITION n1 VALUES LESS THAN (MAXVALUE) ENGINE = InnoDB
    );

在增加分区时，新的RANGE分区方案不能有任何重叠范围；新的LIST 分区方案不能有任何重叠的值集。分区的表RANGE，您只能重组相邻的分区；您不能跳过范围分区。分区也不是无限制的分区下去，不使用[NDB]存储引擎的给定表的最大可能分区数是 8192。

1.6 查询已经创建分区

【查询数据脚本展示】

SELECT * FROM information_schema.`PARTITIONS` WHERE table_schema = 【dbName】 and table_name = "【tableName】";

【查询数据结果展示】
在这里插入图片描述

2 分区限制条件

2.1 禁止的构造。

分区表达式中不允许使用以下结构：

存储过程、存储函数、可加载函数或插件。
声明的变量或用户变量。
当然下面自带的函数除外：
ABS() CEILING() DATEDIFF() DAY() DAYOFMONTH() DAYOFWEEK() DAYOFYEAR() EXTRACT() FLOOR() HOUR() MICROSECOND() MINUTE() MOD() MONTH() 常用 QUARTER() SECOND() TIME_TO_SEC() TO_DAYS() 常用 TO_SECONDS() UNIX_TIMESTAMP() (with TIMESTAMP columns) WEEKDAY() YEAR() YEARWEEK()

上面的函数可以在分区中使用，这样子就可以按照需求来制定自己的分区。

2.2 允许在分区中使用运算符

算术、逻辑运算符
允许在分区表达式中 使用算术运算符 +、 -和 *。但是，结果必须是整数值或NULL

位运算符 ｜ 、&、 ^、 <<、 >>、 ~不允许在分区表达式中使用。
分区 InnoDB 表不支持外键
全文索引。 分区表不支持FULLTEXT 索引或搜索。
空间列。 具有空间数据类型（例如POINT 或GEOMETRY不能在分区表中使用）的列。
临时表。 临时表不能分区。
日志表。 无法对日志表进行分区；[ALTER TABLE ... PARTITION BY ...]此类表上的 语句因错误而失败。
分区键的数据类型。 分区键必须是整数列或解析为整数的表达式。[ENUM]不能使用使用列的表达式 。列或表达式值也可能是NULL; 例外情况参考官网。

F&Q

有些时候，写着，写着，也会翻车，例如，我在实际操作过程中遇到很多问题，但是有了网络之后，就开始搜罗，一点点解决。

Q1：定时处理这些数据

需求描述：

我搜索了一番，将上述的表分区整理成为了按照月度来进行调度分区，然后根据月度来将3个月前的数据迁移到第三张表history表，history是基本上不使用的表，结构同业务表。

具体的思路：
1：创建相同结构的表；
2：创建一个函数，这个函数用于分区
3：创建一个事件，在每月的1号调用分区函数，创建分区，这个分区是两张表（业务表和业务_history表）
4：创建一个函数，用于查询业务数据插入到业务历史表，并删除业务表的数据和分区
5：创建一个事件，用于每月1号调用处理数据函数，迁移数据、删除分区

Q2：SQL语句、单词拼写错误

问题描述：

You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near ‘NULL’ at line 1

多数情况下，应该是SQL脚本写错了，单词拼写错了，或者SQL语句中的分割、拼接有错误，导致不能执行，这个需要多检查下，然后再次执行即可。我就是在拼接SQL时忘记写了空格，导致被执行的SQL。例如我下面的的拼接SQL的where前面么有空格，导致SQL是一个不可以执行的语句

CONCAT('INSERT INTO ', TO_TABLE, ' SELECT * FROM ', FROM_TABLE, 'WHERE data_date < DATE_SUB(CURDATE(), INTERVAL 3 MONTH);');

Q3：权限问题

问题描述：

Access denied； you need (at least one of) the SUPER privilege(s) for this operation

这个很明显，是权限的问题。我当时在一个库执行脚本，提示我这个权限问题，换到一个连接权限大一些即可，或给当前连接用户权限大一些。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1283497.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

锂电池包膜机通过设备管理系统做好预测性维护的作用

锂电池包膜机通过设备管理系统做好预测性维护的作用

在现代工业生产中&#xff0c;包膜机在锂电产业链中处于电池制造环节&#xff0c;是锂电池生产线上的关键设备之一。然而&#xff0c;随着生产规模的扩大和工作环境的复杂化&#xff0c;锂电池包膜机也面临着常见故障和维护需求。为了更好地管理和维护锂电池包膜机&#xff0c;…
阅读更多...
Unity 关于SpriteRenderer 和正交相机缩放

Unity 关于SpriteRenderer 和正交相机缩放

float oldWidth 750f;float oldHeight 1334f;float newWidth Screen.width;float newHeight Screen.height;float oldAspect oldWidth / oldHeight;float newAspect newWidth / newHeight;//水平方向缩放float horizontalCompressionRatio newAspect / oldAspect;//垂直…
阅读更多...
刷题系列——排序算法

刷题系列——排序算法

参考&#xff1a;README - 十大经典排序算法 1&#xff09;排序算法分为内部外部排序两种&#xff0c;这个之前并不了解&#xff0c;外部排序需要访问外存的这个就是指需要额外内存比如另一个list或者dict存储中间结果。 2&#xff09;稳定性&#xff1a;排序后 2 个相等键值…
阅读更多...
C#基础与进阶扩展合集-进阶篇（持续更新）

C#基础与进阶扩展合集-进阶篇（持续更新）

目录 本文分两篇&#xff0c;基础篇点击&#xff1a;C#基础与进阶扩展合集-基础篇 一、进阶 1、Predicate 2、设置C#语言版本 3、ListCollectionView过滤集合 4、值类型与引用类型 5、程序设置当前项目工作目录 6、获取App.config配置文件中的值 7、Linq常用语句 8、…
阅读更多...
三种定时器的实现方式

三种定时器的实现方式

一、Scheduled Schedule是Spring框架提供的一种简单的定时任务调度方法&#xff0c;通过注解的方式即可实现定时任务的调度。它适用于简单的定时任务需求&#xff0c;例如每隔一段时间执行一次任务或者在特定时间执行任务。Scheduled可以轻松地集成到Spring应用中&#xff0c;…
阅读更多...
DeepVoice AI - Text To Voice

DeepVoice AI - Text To Voice

No sign-up, No API Keys, no recurr
阅读更多...
LabVIEW开发工业设备远程在线状态监测

LabVIEW开发工业设备远程在线状态监测

LabVIEW开发工业设备远程在线状态监测 项目需要减少意外停机和维护费用、提供更完整的机器操作和状态图、改进设备使用情况跟踪。 该解决方案是一个多节点&#xff08;即多站点&#xff09;远程监控系统&#xff0c;它利用了基于NI cRIO的控制器和定制的LabVIEW监测软件。 方…
阅读更多...
Idea 导入Mysql8.0驱动jar包

Idea 导入Mysql8.0驱动jar包

库是模块可以依赖的已编译代码的集合。在IntelliJ IDEA中&#xff0c;可以在三个级别上定义库&#xff1a; 全局 &#xff08;可用于许多项目&#xff09;&#xff0c; 项目&#xff08;可用于项目中的所有模块&#xff09;和模块 &#xff08;可用于一个模块&#xff09; 简单…
阅读更多...
Leetcode 80 删除排序数组中的重复项 II

Leetcode 80 删除排序数组中的重复项 II

class Solution {// 双指针// slow代表已完成需要的数组的后一位&#xff0c;即要插入的位置// fast代表待检查的第一个元素public int removeDuplicates(int[] nums) {return f(nums, 2);}public int f(int[] nums, int k){int n nums.length;int slow k;int fast k;while(…
阅读更多...
开源CDN软件GoEdge —— 筑梦之路

开源CDN软件GoEdge —— 筑梦之路

官方网站&#xff1a;GoEdge CDN - 制作自己的CDN - GoEdge CDN | 自建CDN GoEdge是一款管理分布式CDN边缘节点的开源工具软件&#xff0c;目的是让用户轻松地、低成本地创建CDN/WAF等应用。 特性 免费 - 开源、免费、自由、开放 简单 - 架构简单清晰&#xff0c;安装简单&a…
阅读更多...
vue2使用ElementUI

vue2使用ElementUI

elementui官网&#xff1a;组件 | Element 1、全部引入 下载&#xff1a;npm i element-ui 在 main.js 中写入以下内容&#xff1a;import Vue from vue; import ElementUI from element-ui; import element-ui/lib/theme-chalk/index.css; import App from ./App.vue;Vue.use(…
阅读更多...
12月2号作业

12月2号作业

#include <iostream>using namespace std; class Sofa{ private:string setting;string *lying new string;public:Sofa(){cout << "Sofa::无参构造函数" << endl;}Sofa(string setting,string lying):setting(setting),lying(new string (lying)…
阅读更多...
封装带插槽的表格

封装带插槽的表格

子组件 <template><div><table><thead><tr><th v-for"col,colIndex in columns" :key"colIndex">{{ col.title }}</th></tr></thead><tbody v-if"instList.length >0"><tr …
阅读更多...
IDEA 保存自动ESLint格式化

IDEA 保存自动ESLint格式化

作为后端人员&#xff0c;偶尔修改一下前端代码&#xff0c;ESLint总提示格式不正确。有没有什么办法实现自动格式化呢&#xff1f; 安装插件Save Actions Tool 设置中搜索eslint 勾选 Run eslint --fix on save 这样以后&#xff0c;只要保存文件就会自动格式化了。 参考 …
阅读更多...
Python 流程控制

Python 流程控制

目录 程序流程 顺序结构 分支结构 单分支 双分支 多分支 if 嵌套 循环结构 while循环 for 循环 退出循环 循环与分支嵌套 附录 程序流程 程序是由语句构成&#xff0c;而流程控制语句 是用来控制程序中每条语句执行顺序的语句。可以通过控制语句实现更丰富的逻辑…
阅读更多...
vue+electron问题汇总

vue+electron问题汇总

1. Vue_Bug Failed to fetch extension, trying 4 more times 描述&#xff1a;项目启动时报错 解决&#xff1a;注释图片中内容 2. Module not found: Error: Can’t resolve ‘fs’ in 描述&#xff1a;项目启动报错 解决&#xff1a;vue.config.js中添加图中数据 3.导入…
阅读更多...
开会做笔记的时候用什么软件比较好？

开会做笔记的时候用什么软件比较好？

在工作生涯中&#xff0c;会经历很多大大小小的会议&#xff0c;而如何快速准确记录下会议上重要的内容&#xff0c;成了很多上班族的必修课。在会上做笔记&#xff0c;选择什么样的工具才能事半功倍&#xff0c;成了一个值得深思的问题。而经过一段时间的测评后&#xff0c;我…
阅读更多...
Windows系统下配置多个版本的jdk

Windows系统下配置多个版本的jdk

1:准备多个版本的jdk 下载地址:Java Downloads | Oracle 2:安装多个版本的jdk 3:跳转到环境变量配置页 主要是配置环境变量,win10系统操作如下 1)搜索控制面板 2)点击系统与安全 3)点击系统 4)点击高级系统设置 5)点击环境变量 4:为多个版本的jdk配置环境变量 将多个版本的jd…
阅读更多...
深度学习（五）：pytorch迁移学习之resnet50

深度学习（五）：pytorch迁移学习之resnet50

1.迁移学习 迁移学习是一种机器学习方法&#xff0c;它通过将已经在一个任务上学习到的知识应用到另一个相关任务上&#xff0c;来改善模型的性能。迁移学习可以解决数据不足或标注困难的问题&#xff0c;同时可以加快模型的训练速度。 迁移学习的核心思想是将源领域的知识迁…
阅读更多...
专业做除甲醛净化器的品牌 甲醛净化器什么牌子最好用

专业做除甲醛净化器的品牌 甲醛净化器什么牌子最好用

室内产生了超标的甲醛&#xff0c;大部分都会采取选择甲醛空气净化器来去除&#xff0c;甲醛净化器逐渐成为室内清除甲醛的主力&#xff0c;在选择甲醛净化器时&#xff0c;人们常常会被市场上琳琅满目的空气净化器品牌所迷惑&#xff0c;各品牌和型号都声称自己最好&#xff0…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023