MySQL普通表转换为分区表实战指南

news2024/12/23 22:38:30
码到三十五 : 个人主页

引言

本文将详细指导新手开发者如何将MySQL中的普通表转换为分区表。分区表在处理庞大数据集时展现出显著的性能优势,不仅能大幅提升查询速度,还能有效简化数据维护工作。通过掌握这一技巧能够更好地应对数据密集型应用带来的挑战,为系统的高效运行奠定坚实基础。

目录

      • 引言
      • 步骤 1: 备份原始数据
      • 步骤 2: 修改表结构以包含分区键在主键中
      • 步骤 3. 修改原始表以支持分区
      • 步骤 4: 重建表以添加分区
      • 步骤 5: 迁移数据到新表
      • 步骤 6: 验证数据迁移的完整性和准确性
      • 步骤 7: 重命名表(可选)
      • 步骤 8: 测试和监控
      • 步骤 9:创建分区管理存储过程
      • 注意事项

在这里插入图片描述

步骤 1: 备份原始数据

在进行任何结构更改之前,请务必备份原始数据,dump或者sql请选中合适的方式即可。

mysqldump -u [username] -p[password] [database_name] new_table > new_table_backup.sql
CREATE TABLE backup_table_name AS SELECT * FROM original_table_name;

如果数据量不大,可以直接修改表结构即可,可以跳过 3到 7这几步。

步骤 2: 修改表结构以包含分区键在主键中

一般如果根据create_time作为分区建,由于create_time需要成为主键的一部分,我们可以创建一个复合主键,包含原有的idcreate_time字段。

ALTER TABLE original_table_name DROP PRIMARY KEY
add  original_table_name ADD PRIMARY KEY (id, create_time);

如果数据量较大,可以考虑新建表的方式来处理。

步骤 3. 修改原始表以支持分区

需要确定分区策略,比如基于范围、列表、哈希或键进行分区。以下以范围分区为例。

ALTER TABLE original_table_name 
PARTITION BY RANGE (YEAR(create_time)) (
    PARTITION p0 VALUES LESS THAN (2022),
    PARTITION p1 VALUES LESS THAN (2023),
    PARTITION p2 VALUES LESS THAN (2024),
    ...
    PARTITION pn VALUES LESS THAN MAXVALUE
);

步骤 4: 重建表以添加分区

接下来,我们需要创建一个新的分区表,并将数据从旧表迁移到新表。由于无法直接在当前表上添加分区,我们将创建一个新表,其结构与原表相似,但包含分区定义。

CREATE TABLE new_partitioned_table (
  id INT NOT NULL,
  name VARCHAR(50),
  create_time TIMESTAMP NOT NULL,
  PRIMARY KEY (id, create_time)
) ENGINE=InnoDB
PARTITION BY RANGE COLUMNS(create_time) (
    PARTITION p0 VALUES LESS THAN ('2023-01-01'),
    PARTITION p1 VALUES LESS THAN ('2023-02-01'),
    PARTITION p2 VALUES LESS THAN ('2023-03-01'),
    PARTITION future VALUES LESS THAN MAXVALUE
);

步骤 5: 迁移数据到新表

将数据从原始表迁移到新的分区表。

INSERT INTO new_partitioned_table (id, name, create_time) SELECT * FROM original_table_name ;

步骤 6: 验证数据迁移的完整性和准确性

确保所有数据都已正确迁移到新的分区表中,并且没有数据丢失或损坏。

SELECT COUNT(*) FROM original_table_name ; -- 记下这个数量
SELECT COUNT(*) FROM new_partitioned_table; -- 应该与前一个查询的结果相同

步骤 7: 重命名表(可选)

如果希望新的分区表替代原来的表,可以先删除原表,然后将新表重命名为原表的名称。

DROP TABLE original_table_name ;
RENAME TABLE new_partitioned_table TO original_table_name ;

步骤 8: 测试和监控

在应用程序中测试新的分区表以确保其正常工作。监控性能以确保分区提高了查询效率,并定期检查分区的使用情况,以便根据需要调整分区策略。

步骤 9:创建分区管理存储过程

DELIMITER //
CREATE PROCEDURE CreateNextMonthPartition()
BEGIN
    DECLARE v_next_month DATE;
    DECLARE v_partition_name VARCHAR(255);
    DECLARE v_alter_sql TEXT;
    DECLARE v_last_partition_name VARCHAR(255);
    DECLARE v_last_partition_values VARCHAR(255);
    
    -- 获取下个月的第一天
    SET v_next_month = DATE_FORMAT(DATE_ADD(NOW(), INTERVAL 1 MONTH), '%Y-%m-01');
    
    -- 生成新分区的名称
    SET v_partition_name = CONCAT('p', DATE_FORMAT(v_next_month, '%Y%m'));
    
    -- 获取最后一个分区的名称和值,以便在ALTER TABLE语句中使用
    SELECT 
        PARTITION_NAME, 
        PARTITION_DESCRIPTION 
    INTO 
        v_last_partition_name, 
        v_last_partition_values 
    FROM 
        INFORMATION_SCHEMA.PARTITIONS 
    WHERE 
        TABLE_NAME = 'new_table' AND 
        TABLE_SCHEMA = DATABASE() 
    ORDER BY 
        PARTITION_ORDINAL_POSITION DESC 
    LIMIT 1;
    
    -- 构建ALTER TABLE语句来添加新分区
    SET v_alter_sql = CONCAT(
        'ALTER TABLE new_partitioned_table  REORGANIZE PARTITION ', v_last_partition_name, 
        ' INTO (',
        'PARTITION ', v_last_partition_name, ' VALUES LESS THAN (', v_last_partition_values, '),',
        'PARTITION ', v_partition_name, ' VALUES LESS THAN (', 
        QUOTE(DATE_FORMAT(DATE_ADD(v_next_month, INTERVAL 1 MONTH), '%Y-%m-01')), ')',
        'PARTITION future VALUES LESS THAN MAXVALUE)',
        ';'
    );
    
    -- 执行ALTER TABLE语句
    PREPARE stmt FROM v_alter_sql;
    EXECUTE stmt;
    DEALLOCATE PREPARE stmt;
END //
DELIMITER ;

这个存储过程做了以下几件事情:

  1. 计算下一个月的第一天。
  2. 生成新分区的名称。
  3. 查询当前表的最后一个分区信息。
  4. 构建并执行一个ALTER TABLE语句来重新组织最后一个分区,并添加新的分区。

假设new_partitioned_table已经有一个名为future的分区,其值是VALUES LESS THAN MAXVALUE

注意事项

  1. 备份:在进行任何结构更改之前,请确保你已经备份了原始数据。
  2. 性能测试:在更改表结构后,建议进行性能测试以确保新的分区策略确实提高了性能。
  3. 兼容性:不是所有的MySQL存储引擎都支持分区。例如,MyISAM和InnoDB支持分区,但MEMORY和ARCHIVE等引擎可能不支持。确保你的存储引擎支持分区功能。
  4. 分区键选择:选择合适的分区键非常重要。通常,你应该选择一个经常用于查询条件、且数据分布均匀的字段作为分区键。
  5. 分区数量:分区数量不宜过多,否则可能会影响性能。同时,也不宜过少,否则可能达不到预期的性能提升效果。你需要根据实际情况进行权衡和调整。

关注以下公众号获取更多深度内容,纯干货 !

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1809258.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

简单聊一下Oracle,MySQL,postgresql三种锁表的机制,行锁和表锁

MySQL: MySQL使用行级锁定和表级锁定。行级锁定允许多个会话同时写入表,适用于多用户、高并发和OLTP应用。表级锁定只允许一个会话一次更新表,适用于只读、主要读取或单用户应用。 比如mysql开启一个窗口执行 begin; update xc_county_a…

【C++初阶学习】第十三弹——优先级队列及容器适配器

C语言栈:数据结构——栈(C语言版)-CSDN博客 C语言队列:数据结构——队列(C语言版)-CSDN博客 C栈与队列:【C初阶学习】第十二弹——stack和queue的介绍和使用-CSDN博客 前言: 在前面,我们已经…

SpringMVC[从零开始]

SpringMVC SpringMVC简介 1.1什么是MVC MVC是一种软件架构的思想,将软件按照模型、视图、控制器来划分 M:Model,模型层,指工程中的JavaBean,作用是处理数据 JavaBean分为两类: 一类称为实体类Bean:专…

利用阿里云PAI平台微调ChatGLM3-6B

1.介绍ChatGLM3-6B ChatGLM3-6B大模型是智谱AI和清华大学 KEG 实验室联合发布的对话预训练模型。 1.1 模型规模 模型规模通常用参数数量(parameters)来衡量。参数数量越多,模型理论上越强大,但也更耗费资源。以下是一些典型模型…

1688商品库存查询

目录 下载安装与运行 功能简介 快速入门(视频) 当前支持的导出项 常用功能 历史商品是什么意思 粘贴商品有什么要求 导入商品需要什么样的模板 单个商品的查看 查看单个商品详情 下载安装与运行 下载、安装与运行 语雀 功能简介 最近一次测…

InternLM Xtuner Qlora 微调

Xtuner 简介 XTuner 是由上海人工智能实验室开发的一款低成本大模型训练工具箱。它以高效、灵活和全能的特性,成为轻量化大模型微调的理想选择。借助 XTuner,用户仅需 8GB 显存即可对 InternLM2-7B 模型进行微调,从而定制出独一无二的 AI 助手…

【OC】类与对象

类与对象 定义类接口部分定义成员变量方法说明实现部分 对象的产生与使用对象与指针self关键字避免重复创建 id类型方法详解方法的所属性形参个数可变的方法 成员变量成员变量及其运行机制多个实例中内存示意图模拟类变量单例模式 类是面向对象的重要内容,我们可以把…

C++进阶:继承

文章目录 继承的概念继承的定义方式继承关系和访问限定符基类和派生类对象的赋值转换继承中的作用域派生类中的默认成员函数构造函数拷贝构造函数赋值拷贝函数析构函数 总结 继承的概念 继承(inheritance)机制是面向对象程序设计使代码可以复用的最重要的手段,它允…

c++ 里函数选择的优先级:普通函数、模板函数、万能引用,函数重载的常量左值引用、右值引用,编译器选择哪个执行呢?

看大师写的代码时,除了在类里定义了 copy 构造函数,移动构造函数,还定义了对形参采取万能引用的构造函数,因此有个疑问,这时候的构造函数优先级是什么样的呢?简化逻辑测试一下,如下图&#xff0…

c语言:自定义类型(枚举、联合体)

目录 前言: 1.位段 1.1什么是位段 1.2 位段的内存分配 1.3 位段的跨平台问题 2.枚举 2.1枚举类型的定义 2.2枚举类型的优点 3.联合体(共用体) 3.1联合类型的定义 3.2联合体的特点 3.3联合大小的计算 3.4联合体的实际应用 前言…

【机器学习系列】深入理解集成学习:从Bagging到Boosting

目录 一、集成方法的一般思想 二、集成方法的基本原理 三、构建集成分类器的方法 常见的有装袋(Bagging)和提升(Boosting)两种方法 方法1 :装袋(Bagging) Bagging原理如下图: …

调研管理系统的设计

管理员账户功能包括:系统首页,个人中心,管理员管理,基础数据管理,教师类型管理,课程类型管理,公告类型管理 前台账户功能包括:系统首页,个人中心,论坛&#…

深度学习之文本分类模型-基于transformer

1、transformer transformer就是大名鼎鼎的论文《Attention Is All You Need》[1],其在一些翻译任务上获得了SOTA的效果。其模型整体结构如下图所示 encoder和decoder 其整体结构由encoder和decoder组成,其中encoder由6个相同的block组成,…

MySQL中的数据库约束

目录 导读: 约束类型 1、not null(不能为空) 2、unique(唯一) 3、default(默认值约束) 4、primary key(唯一)与unique 相同点: 不同点: auto_increment: 5、foreign key(外键) 语法形式&#xff…

GAN的入门理解

这一篇主要是关于生成对抗网络的模型笔记,有一些简单的证明和原理,是根据李宏毅老师的课程整理的,下面有链接。本篇文章主要就是梳理基础的概念和训练过程,如果有什么问题的话也可以指出的。 李宏毅老师的课程链接 1.概述 GAN是…

BC11 学生基本信息输入输出

BC11 学生基本信息输入输出 废话不多说上题目&#xff1a; 这道题表面上很简单&#xff0c;但是里面有很重要的点先给大家上正确的代码&#xff1a; #include<stdio.h> int main() {int stu 0;float c 0;float English 0;float math 0;scanf("%d;%f,%f,%f"…

Java入门教程上

常见的cmd命令 类 class 字面量 数据类型 输入 public static void main(String[] args) {Scanner anew Scanner(System.in);int na.nextInt();int ma.nextInt();System.out.println(mn);} } 算数运算符 package wclg;public class test {public static void main(String[] ar…

iOS调整collectionViewCell顺序

效果图 原理 就是设置collectionView调整顺序的代理方法&#xff0c;这里要注意一点 调整过代理方法之后&#xff0c;一定要修改数据源&#xff0c;否则导致错乱。 还有就是在collectionView上面添加一个长按手势&#xff0c;在长按手势的不同阶段&#xff0c;调用collectionV…

【数据结构】AVL树(平衡二叉树)

目录 一、AVL树的概念二、AVL树的节点三、AVL树的插入四、AVL树的旋转1.插入在较高左子树的左侧&#xff0c;使用右单旋2.插入在较高右子树的右侧&#xff0c;使用左单旋3.插入较高左子树的右侧&#xff0c;先左单旋再右单旋4.插入较高右子树的左侧&#xff0c;先右单旋再左单旋…

论文研读 A Comparison of TCP Automatic Tuning Techniques for Distributed Computing

论文《分布式计算中TCP自动调优技术的比较》由Eric Weigle和Wu-chun Feng撰写&#xff0c;探讨了自动调整TCP缓冲区大小以提升分布式应用性能的不同方法。文章首先讨论了手动优化TCP缓冲区大小的局限性&#xff0c;并介绍了研究人员提出的各种自动调优技术来应对这些挑战。 作者…