MySQL——MySQL的flush

news2024/11/28 22:54:09

有时候会出现这么一种情况:一条 SQL 语句,正常执行的时候特别快,但是有时也不知道怎么回事,它就会变得特别慢,并且这样的场景很难复现,它不只随机,而且持续时间还很短。

SQL语句为何变慢了 

根据之前MySQL更新语句的学习,可以知道InnoDB 在处理更新语句的时候,只做了写日志这一个磁盘操作。这个日志叫作 redo log(重做日志),在更新内存写完 redo log 后,就返回给客户端,本次更新成功。做个比喻,也就是《孔乙己》里咸亨酒店掌柜用来记账的粉板,在更新内存写完 redo log 后,就返回给客户端,本次更新成功。

做下类比的话,掌柜记账的账本是数据文件,记账用的粉板是日志文件(redo log),掌柜的记忆就是内存

掌柜总要找时间把账本更新一下,这对应的就是把内存里的数据写入磁盘的过程,术语就是 flush。在这个 flush 操作执行之前,孔乙己的赊账总额,其实跟掌柜手中账本里面的记录是不一致的。因为孔乙己今天的赊账金额还只在粉板上,而账本里的记录是老的,还没把今天的赊账算进去。当内存数据页跟磁盘数据页内容不一致的时候,我们称这个内存页为“脏页”。内存数据写入到磁盘后,内存和磁盘上的数据页的内容就一致了,称为“干净页”

 不论是脏页还是干净页,都在内存中。在这个例子里,内存对应的就是掌柜的记忆。

 

对应文章开头的问题: 平时执行很快的更新操作,其实就是在写内存和日志,而 MySQL 偶尔“抖”一下的那个瞬间,可能就是在刷脏页(flush)。

什么情况下会flush

1、第一种场景就是粉板满了,记不下了,如果这时候还有人来记账,就只能放下手上的活,将粉板上的记录擦掉一些,留出空位以便继续记账。当然在擦掉之前,必须先将正确的账目记录到账本中才行。这个场景,对应的就是 InnoDB 的 redo log 写满了。这时候系统会停止所有更新操作,把 checkpoint 往前推进,redo log 留出空间可以继续写。

 checkpoint 可不是随便往前修改一下位置就可以的。比如图中,把 checkpoint 位置从 CP 推进到 CP’,就需要将两个点之间的日志(浅绿色部分),对应的所有脏页都 flush 到磁盘上。之后,图中从 write pos 到 CP’之间就是可以再写入的 redo log 的区域。

2、第二种场景是,这一天的生意太好了,需要记住的东西太多了,发现自己脑袋里面记不住这么多东西了,赶紧把当前的一些账记入账本中。

这种场景,对应的就是系统内存不足。当需要新的内存页,而内存不够用的时候,就要淘汰一些数据页空出内存给别的数据页使用。如果淘汰的是“脏页”,就要先将脏页写到磁盘。

为什么不直接淘汰掉内存,下次需要请求的时候,从磁盘读入数据页,然后拿 redo log 出来应用不就行了?主要还是从性能角度出发,如果刷脏页一定会写盘,就保证了每个数据页有两种状态:

  • 一种是内存里存在,内存里就肯定是正确的结果,直接返回;
  • 另一种是内存里没有数据,就可以肯定数据文件上是正确的结果,读入内存后返回。

 3、第三种场景是生意不忙的时候,或者打烊之后。这时候柜台没事,掌柜闲着也是闲着,不如更新账本。这种场景,对应的就是 MySQL 认为系统“空闲”的时候。当然,MySQL“这家酒店”的生意好起来可是会很快就能把粉板记满的,所以“掌柜”要合理地安排时间,即使是“生意好”的时候,也要见缝插针地找时间,只要有机会就刷一点“脏页”

4、第四种场景是,年底了咸亨酒店要关门几天,需要把账结清一下。这时候掌柜要把所有账都记到账本上,这样过完年重新开张的时候,就能就着账本明确账目情况了。
这种场景,对应的就是 MySQL 正常关闭的情况。这时候,MySQL 会把内存的脏页都 flush 到磁盘上,这样下次 MySQL 启动的时候,就可以直接从磁盘上读数据,启动速度会很快。

四种刷盘场景对MySQL性能的影响 

其中,第三种情况是属于 MySQL 空闲时的操作,这时系统没什么压力,而第四种场景是数据库本来就要关闭了。这两种情况下,不会太关注“性能”问题。所以这里,我们主要来分析一下前两种场景下的性能问题。 

 第一种是“redo log 写满了,要 flush 脏页”,这种情况是 InnoDB 要尽量避免的。因为出现这种情况的时候,整个系统就不能再接受更新了,所有的更新都必须堵住。如果你从监控上看,这时候更新数会跌为 0

第二种是“内存不够用了,要先将脏页写到磁盘”,这种情况其实是常态。InnoDB 用缓冲池(buffer pool)管理内存,缓冲池中的内存页有三种状态:

  • 第一种是,还没有使用的;
  • 第二种是,使用了并且是干净页;
  • 第三种是,使用了并且是脏页

 InnoDB 的策略是尽量使用内存,因此对于一个长时间运行的库来说,未被使用的页面很少

而当要读入的数据页没有在内存的时候,就必须到缓冲池中申请一个数据页。这时候只能把最久不使用的数据页从内存中淘汰掉:如果要淘汰的是一个干净页,就直接释放出来复用;但如果是脏页呢,就必须将脏页先刷到磁盘,变成干净页后才能复用

所以,刷脏页虽然是常态,但是出现以下这两种情况,都是会明显影响性能的:

  1. 一个查询要淘汰的脏页个数太多,会导致查询的响应时间明显变长;

  2. 日志写满,更新全部堵住,写性能跌为 0,这种情况对敏感业务来说,是不能接受的。

 InnoDB 需要有控制脏页比例的机制,来尽量避免上面的这两种情况。

InnoDB 刷脏页的控制策略

首先,要正确地告诉 InnoDB 所在主机的 IO 能力,这样 InnoDB 才能知道需要全力刷脏页的时候,可以刷多快

这就要用到 innodb_io_capacity 这个参数了,它会告诉 InnoDB 你的磁盘能力。这个值我建议你设置成磁盘的 IOPS。磁盘的 IOPS 可以通过 fio 这个工具来测试,下面的语句是我用来测试磁盘随机读写的命令:

 fio -filename=$filename -direct=1 -iodepth 1 -thread -rw=randrw -ioengine=psync -bs=16k -size=500M -numjobs=10 -runtime=10 -group_reporting -name=mytest 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/88073.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Oracle单机部署:数据库安装

Oracle单机部署:数据库安装安装前须知数据库字符集自动内存管理数据库安装配置图形化安装安装后检查🐬 使用oracle用户来安装数据库。 安装前须知 数据库字符集 在创建数据库之后,更改字符集在时间和资源上的代价都是非常昂贵的。可能需要…

全球银行最大分布式核心系统全面上线,邮储银行做到了!

摘要:近年来,国家陆续出台金融科技相关政策,提出创新驱动发展战略,强调以新一代信息和网络技术为支撑,拓展互联网金融,促进技术创新和商业模式创新的融合。本文分享自华为云社区《全球银行最大分布式核心系…

算法设计 - 01背包问题

学习来源 【自制】01背包问题算法动画讲解_哔哩哔哩_bilibili 问题描述 有N件物品,第i件物品的重量是w[i],价值是p[i]。 有一个背包,背包的承重是W。 求解:将哪些物品装入背包可获得最大价值。 实例说明 有如下物品&#xff…

尚医通-MyBatis-Plus:条件查询Wapper(五)

(1)MyBatis-Plus:条件查询 实现对数据库复杂的条件操作: Wrapper : 条件构造抽象类,最顶端父类 AbstractWrapper : 用于查询条件封装,生成 sql 的 where 条件 QueryWrapper &…

【文献研究】车辆路径问题静态合作博弈的数学模型及算法实现

前言:以2015年发表在期刊《MATHEMATICAL GAME THEORY AND APPLICATIONS》上的文章《Strong Coalitional Equilibrium in a Transportation Game》为学习资料,学习关于车辆路径模型的合作博弈。以下是本人对文献内容的一些粗浅理解,由于本人英…

linux批量操作文件命令总结

总结下常用的linux命令,linux下的命令组合着实强大。有时候即便是使用的windows系统也可以在Dos窗口下使用linux下的一些命令工具,完成一些文本日常处理。 查找所有文件 find ./ -name "*.log" 查找某一后缀的文件并删除 find ./ -name &qu…

shell篇---运行python,单个或多个

shell运行python1、方法1在shell中利用export指定python解释器路径2、方法2利用conda激活虚拟环境,进入文件执行目录执行3、多个python(具体例子)4、具体例子code启动查看1、方法1 在shell中利用export指定python解释器路径 编写如下run.sh…

H5页面转微信小程序(web-view)

效果 先放效果让大家看一下吧,过程很简单。 H5页面图 小程序预览图 准备工作 注册一个小程序(一定得是企业认证账号,个人账号无法使用web-view),具体注册就不演示了。 国内的备案域名(你H5页面和后台…

SpringMVC学习:二、SSM整合

3. SSM 整合 3.1 需求 使用SpringMVC和MyBatis完成用户管理系统. 3.2 整合思路 springspringmvcmybaits的系统架构: 步骤: 第一步:整合dao层 ​ mybatis和spring整合,通过spring管理mapper接口。 ​ 使用mapper的扫描器自动扫描mapper接口在…

C++ Win32程序编写入门

翻译:原文地址 一、关于Win32 ​ 本文档描述了Win329.1版的功能。若要下载Win32的程序清单,可以点击这里。 Win32是一个用于构建windows应用程序的C库。Win32是MFC的免费替代品。它还有一个额外的优势,即能够在各种免费编译器上运行…

第五章. 可视化数据分析图表—常用图表的绘制5—多个子图表

第五章. 可视化数据分析图 5.3 常用图表的绘制5—多个子图表 Matplotlib可以实现在一张图上绘制多个子图表,Matplotlib提供了三种方法:一是使用subplot函数,二是使用subplots,三是使用add_subplot函数 subplot方法和add_subplot,定制效果比较…

难受啊,139天备战字节跳动,一个疏忽让我前功尽弃...

面试是走的内推途径,因为内推的简历通过率远高于其他方式;我的内推的途径有:联系我在字节跳动工作的一个大学学长。 在线面试,有个线上文本编辑器,类似leetcode那种,可以在线编程。然而有点紧张,视频面试网…

Excel·VBA文件重命名

目录获取文件夹下所有文件名获取文件夹下所有文件名并重命名简体/繁体文件名重命名获取文件夹下所有文件名 Sub 测试代码()Dim i&, j&file_path "E:\测试\重命名"With CreateObject("Scripting.FileSystemObject")For Each f In .GetFolder(file…

字节面试官:Rocketmq如何测试?看看我的回答能拿几分?

字节面试:RocketMQ是怎么测试的呢? 答: 首先保证消息的消费正确、设计逆向用例,在验证消息内容为空等情况时的消费正确性; 推送大批量MQ,通过Admin控制台查看MQ消费的情况,是否出现消费假死、…

磨金石教育兴趣技能分享||分享摄影中的“留白”艺术

老子讲:“虚实相生,有无相形”,有与无相对相衬。一幅画的留白可以看出画家胸中的沟壑,也可以看出作品境界的高下。 从某种层面上来讲,摄影也是作画的艺术,一张艺术感高的照片,也需要懂得留白。…

非零基础自学Golang 第2章 安装和运行Go 2.3 在Linux 下安装Go 2.4 在Mac OS 下安装Go

非零基础自学Golang 文章目录非零基础自学Golang第2章 安装和运行Go2.3 在Linux 下安装Go2.4 在Mac OS 下安装Go第2章 安装和运行Go 2.3 在Linux 下安装Go 由于Linux有众多发行版本,笔者这里以 CentOS 7作为示例进行安装介绍,其他发行版本请参考相关发…

C++ Reference: Standard C++ Library reference: Containers: map: cbegin

C官网参考链接&#xff1a;https://cplusplus.com/reference/map/map/cbegin/ 公有成员函数 <map> std::map::cbegin const_iterator cbegin() const noexcept;返回指向开始的const_iterator 返回指向容器第一个元素的const_iterator。 const_iterator是指向const内容的…

带你领略python魔法~免费复制文档数据

前言 嗨喽~大家好呀&#xff0c;这里是魔王呐 ❤ ~ 我们百度搜索一些东西得时候&#xff0c;经常找到文档里面 然后就会发现需要充值才能复制&#xff01;怎么可以不花钱也保存呢&#xff1f; 今天就分享给大家一个python获取文档数据得方法 环境使用: python 3.8 pycharm…

DolphinScheduler 发布 3.0.3 版本,重点修复 6 个 Bug

点亮 ⭐️ Star 照亮开源之路https://github.com/apache/dolphinscheduler近日&#xff0c;Apache DolphinScheduler 发布了 3.0.3 版本。此版本主要基于 3.0.2 版本进行了 Bug 修复&#xff0c;共计修复 6 个 Bug&#xff0c;以及 3 处文档修改。其中的较为重要的 Bug fix 为…

外汇天眼:WTI原油自低位累计反弹9%!欧佩克呼吁“警惕和谨慎”

美国CPI增速创近一年来新低&#xff0c;美元指数失守104.0 周三&#xff08;12月13日&#xff09;公布的美国11月CPI同比增长7.1%&#xff0c;不及预期增长7.3%&#xff0c;前值7.7%&#xff1b;美国11月CPI环比增长0.1%&#xff0c;不及预期增长0.3%&#xff0c;前值0.4%。 从…