MySQL 回收表碎片实践教程

news2024/10/23 17:37:51

前言:

在 MySQL 数据库中,随着数据的增删改操作,表空间可能会出现碎片化,这不仅会占用额外的存储空间,还可能降低表的扫描效率,特别是一些大表,在进行数据清理后会产生大量的碎片。本篇文章我们一起来学习下如何进行碎片回收以及相关注意点。

查看表碎片大小

一般 MySQL 数据库都是开启 innodb_file_per_table 参数的,这代表每个表使用独立的表空间,即每个表的数据及索引存储在一个独立的 表名.ibd 文件里,如果某个表有大量碎片,ibd 文件占用磁盘空间会非常大,碎片回收掉后 ibd 文件也会显著减小。

首先我们要确定哪些表需要进行回收碎片操作,MySQL 系统表 information.TABLES 中的 DATA_FREE 字段显示的是可用的空闲空间量(单位:字节),它可以帮助你估计碎片的程度,如果 DATA_FREE 很大,那么这个表的碎片量一般也比较大。

如果某个表比较大或者变动特别频繁,你可以看下这个表的 DATA_FREE 大小,看是否需要回收碎片,也可以从系统表中筛选出碎片量大于 100M 的表或者碎片率达到多少的表,这类表一般是需要进行碎片回收的。下面几条查询 SQL 可能对你有所帮助:

# 查看某个表的详细信息(包含碎片大小)
select 
table_schema as '数据库',
TABLE_NAME as '表名',
sys.FORMAT_BYTES(data_length) as '数据容量',
sys.FORMAT_BYTES(index_length) as '索引容量',
sys.FORMAT_BYTES(data_length+index_length) as '总容量' ,
sys.FORMAT_BYTES(DATA_FREE) as '碎片大小'
from information_schema.tables where TABLE_SCHEMA = 'db_name' and TABLE_NAME = 'tb_name';

# 按碎片大小排序
SELECT t.TABLE_SCHEMA,
       t.TABLE_NAME,
       t.DATA_FREE,
       sys.FORMAT_BYTES(DATA_LENGTH+INDEX_LENGTH) as '总容量' ,
       sys.FORMAT_BYTES(DATA_FREE) as '碎片大小'
FROM information_schema.tables t
WHERE
    t.table_schema NOT IN (
        'mysql',
        'information_schema',
        'performance_schema',
        'sys'
    )
AND t.table_type = 'BASE TABLE' ORDER BY `DATA_FREE` DESC LIMIT 20

# 查看碎片率大于0.3的表
select 
table_schema as '数据库',
TABLE_NAME as '表名',
sys.FORMAT_BYTES(DATA_LENGTH+INDEX_LENGTH) as '总容量' ,
sys.FORMAT_BYTES(DATA_FREE) as '碎片大小',
(DATA_FREE / (data_length + index_length)) AS '碎片率'
FROM information_schema.tables t
WHERE
	t.table_schema NOT IN (
		'mysql',
		'information_schema',
		'performance_schema',
		'sys'
	) AND t.table_type = 'BASE TABLE' and (DATA_FREE / (data_length + index_length)) > 0.3

以上三条 SQL 基本能覆盖日常所需场景,想要回收表碎片的话,可以按照不同场景执行相关 SQL 来查找,比如是想回收碎片比较多的表还是碎片率比较大的表。找到需要回收碎片的表后,下一步就是评估进行正式回收碎片操作了。

回收表碎片

对于 InnoDB 存储引擎的表,可以用 optimize table table_name; 或者 alter table table_name engine = innodb; 两种方式进行回收。

OPTIMIZE TABLE 对于 InnoDB 表来说,实际上会执行一个重建表的操作,这与 ALTER TABLE … FORCE 类似。这个过程会重新组织表的数据和索引,更新索引统计信息,并释放聚簇索引中未使用的空间。它可以在一定程度上减少表占用的空间,并提高访问表时的 IO 效率。OPTIMIZE TABLE 对于常规的和分区的 InnoDB 表使用 online DDL ,这减少了并发的 DML 操作的停机时间。OPTIMIZE TABLE 仅在操作的准备阶段和提交阶段短暂地获取独占的表锁,在准备阶段,元数据会被更新并且创建一个中间表,在提交阶段,将提交表元数据更改。

ALTER TABLE … ENGINE = InnoDB 命令实际上是将表的存储引擎重新设置为 InnoDB 。在这个过程中,MySQL 会对表进行重建,会回收掉未使用的空间。在 5.6 及以后的版本中,这个操作会使用 Online DDL ,减少对并发 DML 操作的影响。它通过创建一个临时文件,扫描表的数据页,并将操作记录在日志文件中,最后将临时文件替换原表的数据文件。此方法只适用于 InnoDB 引擎表。

总的来说,两者都可以用于整理 InnoDB 表的碎片,但是 OPTIMIZE TABLE 更侧重于专门的碎片整理和空间回收,还可以用于其他存储引擎。而 ALTER TABLE … ENGINE=InnoDB 主要是更改存储引擎属性时附带的一些空间优化。在实际使用中,可以根据具体情况选择合适的方式来回收 InnoDB 表的空间。

需要注意的一点是,尽管二者操作都是 Online DDL ,但回收操作还是尽量在业务低峰期执行,特别是大表,回收操作还是需要一段时间的。除此之外,要确保有足够的磁盘空间进行回收操作,因为执行期间会生成临时文件,进一步占用磁盘空间,执行完成后才会删除临时文件。例如你要对一个 200G 的表进行回收操作,预估能回收掉 50G 碎片,则要确保磁盘空间至少剩余 150G,一般建议剩余空间在表大小以上。如果你的磁盘剩余空间不足则无法完成回收操作。

总结:

本篇文章介绍了如何查看 InnoDB 表的碎片以及如何进行回收。生产环境中,建议定期巡检 MySQL 系统中的表碎片,并在业务低峰期执行回收操作。回收表碎片是一种良好的数据库维护实践,可以提高数据库查询性能,同时也可以提高存储效率和管理简便性。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2221753.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

MAC电脑的JDK、MAVEN配置及IDEA激活

1、JDK配置环境 vim ~/.bash_profile # 添加 Java 目录,类路径和指令路径的配置,若已存在则用目标值覆盖 export JAVA_HOME/Library/Java/JavaVirtualMachines/jdk1.8.0_311.jdk/Contents/Home export CLASSPATH.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/…

Oracle单实例静默安装

oracle 11g单实例静默安装 在CentOS上静默安装Oracle数据库 引言 在企业环境中,自动化和标准化是提高效率的关键。静默安装(也称为无人值守安装)是一种无需人工干预的安装方法,适用于大规模部署或需要重复安装的场景。本文将介…

【KEIL那些事 4】CMSIS缺失!!!!导致不能编译!!!!软件自带芯片下载缓慢!!!!!!快速下载芯片包!!!!!

安装了keli发现emmm,CMSIS缺失!!!!不能编译,,,自带下载芯片缓慢,,,官网下载emmm,竟然不带动的!!!&…

MySQL根据.idb数据恢复脚本,做成了EXE可执行文件

文章目录 1.代码2.Main方法打包3.Jar包打成exe可执行文件4.使用(1.)准备一个表结构一样得数据库(2.)打开软件(3.)输入路径 5.恢复成功 本文档只是为了留档方便以后工作运维,或者给同事分享文档内…

查看Chrome安装路

谷歌Google浏览器查看安装路径,浏览器Google Chrome浏览器查看安装路径 chrome://version/ 来源:笔记云

(数据结构)单链表——C语言

目录 1 概念与结构 1.1 结点 1.2 链表的性质 2 实现单链表 2.1打印SLPrint 2.2申请一个结点SLBuyNode 2.3尾插SLPushBack 2.4头插SLPushfront 2.5尾删SLPopBack 2.6头删SLPopfront 2.7查找结点位置SLFindNode 2.8在pos位置插入SLInsert 2.9在pos节点之后插入SLInse…

2024HarmonyOS应用开发者高级认证 最新题库第二部分

单选题 1.以下哪个装饰器用来表示并发共享对象。(D) AShared BState CStyle DSendable 2.hiAppEvent提供的Watcher接口,需要订阅到OS的崩溃事件,正确的实现方式(选下面这个) hiAppEvent.addWatcher({ name:"watcher&…

探索网页组件化:原生JavaScript动态加载HTML与iframe的使用与比较

在网页设计中,将内容作为组件动态加载到页面上是一种提高用户体验和页面性能的有效手段。本文将详细介绍两种实现动态内容加载的方法:使用原生JavaScript动态加载HTML和使用iframe,并对比它们的使用方式和优缺点。 原生JavaScript动态加载HTM…

[论文笔记]HERMES 3 TECHNICAL REPORT

引言 今天带来论文HERMES 3 TECHNICAL REPORT,这篇论文提出了一个强大的工具调用模型,包含了训练方案介绍。同时提出了一个函数调用标准。 为了简单,下文中以翻译的口吻记录,比如替换"作者"为"我们"。 聊天模…

RISC-V笔记——内存模型总结

1 前言 Memory consistency model定义了使用Shared memory(共享内存)执行多线程(Multithread)程序所允许的行为规范。RISC-V使用的内存模型是RVWMO(RISC-V Weak Memory Ordering),RVWMO内存模型是根据全局内存顺序(global memory order)定义的,全局内存…

简单有效修复d3d9.dll错误,11种d3d9.dll错误详细解决办法教程

当你遇到d3d9.dll文件丢失的问题时,可以通过今天的这篇文章详细的步骤来尝试修复这个问题,今天将教大家十一种d3d9.dll丢失修复的方法。 1. 重新安装DirectX以恢复d3d9.dll d3d9.dll是DirectX的一部分,因此重新安装DirectX通常可以解决d3d9.…

proguard对java代码进行混淆加密。并进行反编译测试,后续可配合classfinal进行使用

文章目录 1.插件混淆(1.)pom配置(2.)混淆配置(3.)打包 2.反编译查看效果(1.)工具下载(2.)反编译对比 3.启动测试4.功能测试5.二次加密 本文档只是为了留档方便…

【ChatGPT插件漏洞三连发之一】未授权恶意插件安装

漏洞 要了解第一个漏洞,我们必须首先向您展示 OAuth 身份验证的工作原理: 假设您是 Dan,并且您想使用您的 Facebook 帐户连接到 Example.com。当您点击“使用Facebook登录”时会发生什么? 在步骤 2-3 中: 在 Dan 单…

2024成为自动化测试的7种技能!

随着敏捷和DevOps等新时代项目开发方法逐渐取代旧的瀑布模型,测试需求在业界不断增长。测试人员现在正在与开发人员一起工作,自动化测试在许多方面极大地取代了手动测试。如果您是自动化测试领域的新手,刚雇用您的组织将期望您快速&#xff0…

java线程的几种状态

线程的所有状态 NEW: 安排了工作, 还未开始行动RUNNABLE: 可工作的. 又可以分成正在工作中和即将开始工作. BLOCKED: 这几个都表示排队等着其他事情 WAITING: 这几个都表示排队等着其他事情TIMED_WAITING: 这几个都表示排队等着其他事情TERMINATED: 工作完成了. 线程状态和状…

《黑神话悟空》各章节boss顺序汇总

第一章BOSS顺序: 1、牯护院:犀牛精,位于苍狼岭娟,击败后能获得定身术。 2、广智:火刀狼, 位于观音禅院,击败后获得广智变身,记得敲钟。 3、蓝皮幽魂:蓝皮大头&#xff0…

大模型入门到精通!大模型应用开发极简入门(含PDF)

大模型的出现正悄然改变人们的生活与工作方式,比如ChatGPT-4、文心一言、通义千问等语言大模型。它们已帮助很多办公室“白领”们在解决日常工作问题,如制定计划、撰写实施方案,甚至制作美化PPT等(笔者及身边的同事在工作中还经常…

Star Tower:智能合约的安全基石与未来引领者

在区块链技术的快速发展中,智能合约作为新兴的应用形式,正逐渐成为区块链领域的重要组成部分。然而,智能合约的可靠性问题一直是用户最为关心的焦点之一。为此,Star Tower以其强大的技术实力和全面的安全保障措施,为智…

pytest中@pytest.fixture常用顺序function

ytest中pytest.fixture用法讲解 1、测试函数开始之前2、执行测试函数:3、测试函数结束后: 备注:内容来自chatGPT 在 pytest 中,pytest.fixture 是一个非常强大的功能,用于设置测试所需的环境和状态。它可以通过 scope…

听泉鉴宝在三个月前已布局商标注册!

近日“听泉鉴宝”以幽默的风格和节目效果迅速涨粉至2500多万,连线出现“馆藏文物”和“盗墓现场”等内容,听泉鉴宝早在几个月前已布局商标注册。 据普推知产商标老杨在商标局网站检索发现,“听泉鉴宝”的主人丁某所持股的江苏灵匠申请了三十…