了解mysql脏页落盘过程

news2024/11/25 2:42:06

脏页落盘

什么是脏页?

对数据的修改,首先改内存中的缓冲池的页,由于缓冲区的数据跟磁盘中的数据不一致,所以称缓冲区的页为脏页
在这里插入图片描述

脏页如何写入到磁盘?

不是每次更新都触发脏页落盘,而是通过CheckPoint机制刷新磁盘。

InnoDB数据落盘流程(大概)

在这里插入图片描述

为什么性能好

  • 从流程中,可以看到,事务的操作全是在内存中进行,所以性能好。

如何持久化

  • 在修改缓冲区之前,所有操作先写入Log Buffer,提交事务之前持久化到Redio日志,后面通过CheckPoint机制,将脏页落盘。

如何保证数据安全

  • Write Ahead Log 策略(日志先行)。
  • Force Log at Commit机制(提交事务时,将日志写入到磁盘)。
  • CheckPoint机制。
  • 双写机制:脏页拷贝到双写缓冲区之后,持久化到对应系统表空间的位置,然后把脏页更新到独立表空间,最后清除Redo日志。

为什么不马上更新到磁盘?

  • 因为每次页的更新,都落盘的话,必将伴随4次磁盘IO,性能不会很高,随着写入操作的增加,性能指数下降。

如何确保日志安全进入磁盘?

  • 日志写入Log Buffer之后,调用fsync函数确保日志从缓存写入磁盘。

fsync的功能是确保文件fd所有已修改的内容已经正确同步到硬盘上,该调用会阻塞等待直到设备报告IO完成。

Redo日志落盘策略

写入磁盘时机由 innodb_flush_log_at_trx_commit 控制。

  • 0:每秒写入,跟事务无关,最多丢失1秒的的事务操作。
  • 1:事务提交时写入磁盘,不丢失数据,效率也是最低。
  • 2:事务提交,写入OS Buffer,间隔1秒写入,性能、安全性相比前两个居中。
    在这里插入图片描述

CheckPoint机制

解决了什么问题

对缓冲池的操作,避免了直接修改磁盘,但是数据最终还是要写入到磁盘,通过此机制,不断将脏页落盘,这样可以减少Redo日志大小,在宕机的时候不用重做所有日志;
同时可以缓冲池内存不够用;
刷新脏页,还可以循环使用Redo日志,不会无限增大。

分类

sharp checkpoint:关闭数据库时,将缓冲池的脏页全部刷新到磁盘。
fuzzy checkpoint:数据库运行期间,选择不同时机将部分脏页写入磁盘。避免刷新全部带来的性能问题。

  • Master Thread Checkpoint:固定频率刷新部分脏页到磁盘,异步操作不会阻塞用户线程。
  • FLUSH_LRU_LIST Checkpoint:缓冲池淘汰非热点Page,如果该Page是脏页会执行CheckPoint。
  • Async/Sync Flush Checkpoint:redo日志不可用时,强制脏页落盘,有了前两个这种一般不会发生。
  • Dirty Page too much Checkpoint:脏页占比太多强制进行刷盘,阈值75%

Double Write机制

如果写入脏页时发生宕机怎么办法?
我们在修改更新Redo日志时,先将缓冲池的脏页拷贝到双写缓冲区,然后将数据顺序写到系统表空间的双写缓冲区,再离散写入独立表空间。这样,即使发生宕机,数据也能从系统表空间中恢复。

Redo日志只记录对页的修改而非数据本身。
在这里插入图片描述

从缓冲池复制到双写缓冲区 -> 顺序写入系统表空间 -> 离散写入独立表空间。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/43092.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

计及调频成本和荷电状态恢复的多储能系统调频功率双层优化【蓄电池经济最优目标下充放电】(基于matlab+yalmip+cplex的蓄电池出力优化)

摘要:针对电网中不同类型储能电站调频成本、剩余调频 能力存在差异、储能电站内部储能单元 SOC 过高或过低 的问题,提出计及调频成本和 SOC 恢复的多储能系统调 频功率双层优化策略,该策略包含调频功率优化层和 SOC 优化层:在调频…

覆盖libc.so.6的惨痛教训

覆盖libc.so.6的惨痛教训背景问题原因解决1、当前session未断开2、OS崩溃重启,所有ssh session断开惨痛教训1、对于上产环境的内核依赖库文件不能随意覆盖、删除。2、 scp 文件覆盖问题总结参考背景 发生时间: 2022年11月28日08:55:20 偷了个懒,在安装t…

Allegro走线自动关闭其它飞线操作指导

Allegro走线自动关闭其它飞线操作指导 Allegro在走线时候有一个自动关闭其它网络飞线的功能,具体操作如下 点击add connect命令 在option里面选择Auto-blank other rats 未勾选的状态 勾选后的状态,其它网络的飞线都被关闭了 This section is describe what the functio…

楼盘vr虚拟样板间,为售楼中心带来财气

房企也进入业绩冲刺期。为了完成销售目标,扩大市场销售面积,各大房企必将加大楼盘推出,降价冲销量已成常态。虚拟样板间采用创意化的营销策略,在激烈的竞争中脱颖而出。 所谓的VR虚拟样板间就是,利用数字化技术把建成或…

使用AWS的API Gateway实现websocket

问题 最近业务上面需要使用到WebSocket长连接来解决某些业务场景。 一图胜千言 注意:这里承担WebSocket服务器的是AWS API Gateway;后面的EC2业务服务,其实都是REST接口服务。 这里主要关注API Gateway和REST业务服务怎么实现API Gateway要…

Mysql事务机制

目录 一:定义 二:事务的特质 三:检测ACID特性 1. 准备工作. 2. 测试原子性和持久性 case1: 模拟原子性的全部失败 case2:模拟原子性的全部成功 case3:检查 持久性。 3. 测试一致性 case1&#xff…

[附源码]计算机毕业设计springboot餐馆点餐管理系统

项目运行 环境配置: Jdk1.8 Tomcat7.0 Mysql HBuilderX(Webstorm也行) Eclispe(IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持)。 项目技术: SSM mybatis Maven Vue 等等组成,B/S模式 M…

马尔可夫链

目录 1.相关概念 2.马尔可夫链的状态概率分布推演及稳态分布 3.马尔可夫链的应用 4.稳态分布性质 1.相关概念 小明同学每日选择早餐的概率转化如下图所示: 并且当日的选择只受前一日的结果以及对应的转移概率影响,与之前的选择无关。———> …

Spring Cloud Alibaba 容器化部署最佳实践 | 本地部署版本 | Seata服务端组件安装

Seata 是一款开源的分布式事务解决方案,致力于提供高性能和简单易用的分布式事务服务。Seata 将为用户提供了 AT、TCC、SAGA 和 XA 事务模式,为用户打造一站式的分布式解决方案。 下载地址 https://github.com/seata/seata/releases Seata安装-修改配…

PyQt5 信号(Signal)与槽(Slot)

PyQt5 信号与槽信号与槽介绍内置信号与槽的使用自定义信号与槽的使用自定义信号和内置槽函数自定义信号和自定义槽函数自定义有参信号使用自定义信号参数装饰器信号与槽信号与槽的断开和连接多线程中信号与槽的使用信号与槽介绍 信号(Signal)与槽(Slot)是Qt中的核心机制&#…

基于Spring Boot的个人博客系统(源码+数据库)

目录 一、系统功能框架图 二、开发技术 三、开发环境 四、页面展示 1.登录页面 2.首页 3.文章详情页面 4.文章评论页面 ​5.后台页面 6.后台文件编辑页面 ​7.后台文章管理列表页面 五、文件组织结构 六、数据库设计 1. 文章详情表t_article 2.文章评论表t_comm…

Elasticsearch:构建地图以按国家或地区比较指标

标如果你不熟悉 Elastic 地图,本教程是一个不错的起点。 它会指导你完成处理位置数据的常见步骤。在完成本教程后,你将学会: 创建具有多个图层和数据源的地图使用符号、颜色和标签来设置数据值的样式在仪表板中嵌入地图在仪表板中跨仪表盘搜索 完成本教…

【Scala专栏】数据类型、变量常量、类和对象

本文内容主要分为3节,依次讲解:Scala的数据类型有哪些? 变量常量如何使用? 类和对象如何理解? 受限于博主的大脑容量,大概是无法做到事无巨细的,不过其实也没必要那么"细"&#xff0c…

Java核心技术卷Ⅰ-第三章Java的基本程序设计结构

重点 1.数据类型 2.运算符 3.字符串 4.控制流程 5.数组 1.数据类型 整型:Java程序必须保证在所有机器上都能得到相同的运行结果,所以各种数据类型的取值范围是固定的;在C/C中,int和long类型的大小与目标平台相关 类型存储需求取值…

基于粒子群算法的线性规划问题求解matlab程序

基于粒子群算法的线性规划问题求解matlab程序 1 基本粒子群算法流程 粒子群算法基于“种群”和“进化”的概念,通过个体间的协作与竞争,实现复杂空间最优解的搜索,其流程如下: (1)初始化粒子群&#xff…

Apache Maven

Apache Maven简介安装Eclipse中安装内置的Maven插件Maven官网下载,直接安装在电脑上Maven安装目录结构bin目录boot目录conf目录lib目录Maven生命周期与命令Maven生命周期clean:清理cleanup:清理所有default:默认site:站…

做数据集增强时,训练一半出现IndexError: tuple index out of range这种错误,不知道怎么改,有神仙赐教一下嘛?

在用YOLOv5做图像训练时,首先做了数据集的增强,但是增强中出现了如下的错误 首先出现这样的警告 (A:/stdy py37-g/agu_img.py:153: DeprecationWarning: An exception was ignored while fetching the attribute __array_interface__ from an object of …

maven部署方案之分离业务包

一、思想: 通过将业务包和公共包分离,集中管理所有包,打包时只构建业务包减少项目包的大小和传输时间。 为了观测稳定性,暂通过环境区分,较为频繁的联调环境采用该方式,测试、预发、正式暂保持一体化打包…

golang实现andflow流程引擎

1、andflow引擎 andflow_js可以实现在Html端设计流程,并将设计结果保存为json模型,andflow可以用于设计业务流程、数据处理流程、工作流、控制流等一切可流程化的过程。 由于golang具备高效、跨平台、并且还能够直接编译成可执行文件,这些优…

selenium 找不到元素:Unable to find element on closed window

浏览器:IE 报错信息: Unable to find element on closed window Unable to get browser 过程:登录》跳转页面(同窗口)》点击备份按钮 已知代码没有改过,而且部署到多个机子上,很多机子没有问…