MySQL之Doublewrite Buffer详解

news2024/9/25 5:21:13

前言

本文已收录在MySQL性能优化+原理+实战专栏,点击此处浏览更多优质内容。

在这里插入图片描述

上一篇文章MySQL之Adaptive Hash Index详解我们学习了InnoDB Adaptive Hash Index自适应哈希索引的工作原理。其本质是将频繁访问数据页的索引键值以“Key”放在缓存中,“Value”为该索引键值匹配完整记录所在页面(Page)的位置,通过缩短寻路路径(Search Path)从而提升MySQL查询性能的一种方式。

而今天要讲解的Doublewrite Buffer被MySQL放在官档目录“磁盘结构”中了,但真实情况是Doublewrite Buffer是内存+磁盘的结构。
在这里插入图片描述

官档地址:https://dev.mysql.com/doc/refman/8.0/en/innodb-doublewrite-buffer.html
点击此处跳转

今天我们就学习了解一下Doublewrite Buffer是什么?工作原理是怎样的?(双写缓冲区,缩写:DWB)

目录

  • 一、不同程序的page
    • 1.1 Linux系统的Page OR MySQL的Page 大小对比
    • 1.2 不同大小Page的程序在交互过程中会出现什么问题
  • 二、Doublewrite Buffer概念
  • 三、Doublewrite Buffer工作流程
  • 四、Doublewrite Buffer的参数
    • 4.1 innodb_doublewrite
    • 4.2 Innodb_dblwr_pages_written & Innodb_dblwr_writes
    • 4.3 innodb_doublewrite_batch_size
    • 4.4 innodb_doublewrite_dir
    • 4.5 innodb_doublewrite_files
    • 4.6 innodb_doublewrite_pages

一、不同程序的page

1.1 Linux系统的Page OR MySQL的Page 大小对比

操作系统可以看成是一个程序,作为程序而言,都有最小处理单位的说法,我们常见的服务器一般都是Linux操作系统,对应文件系统的页(OS Page)就可以看成是Linux操作系统与文件系统交互的最小单位。可以通过下面的命令来查看:

[root@mysql2 ~]# getconf PAGESIZE
4096

通过结果可以看出,Linux文件系统页(OS Page)的大小是4KB。同样地,MySQL作为一个程序也是有最小交互单位的,即InnoDB Buffer Pool能处理的最小单位,可以通过以下SQL命令查看:

mysql> show variables like '%innodb_page_size%';
+------------------+-------+
| Variable_name    | Value |
+------------------+-------+
| innodb_page_size | 16384 |
+------------------+-------+
1 row in set (0.01 sec)

如上,MySQL页(Page)大小默认为16KB

1.2 不同大小Page的程序在交互过程中会出现什么问题

一般情况下,除了操作系统的页(OS Page)为4KB之外,其余程序的页(Page)都会大于等于操作系统的页大小,比如,Oracle的Page大小为8KB。MySQL的Page大小也可以通过上面innodb_page_size参数指定(5.6版本以前,不可调整;5.6版本时,可自定义为8KB、4KB,但不能调大;5.7版本以后,才可以改成32KB、64KB。我们使用默认值即可。

我们知道操作系统的页大小和MySQL的页大小了,而且MySQL程序是跑在Linux操作系统上的,所以可以得出一个结论:MySQL将Buffer Pool中一页数据刷入磁盘,要写4个文件系统里的页。

在这里插入图片描述

如上图所示,,MySQL里Page 1的页,物理上对应磁盘的Page 1、Page 2、Page 3、Page 4四个页,假设MySQL内Page 1的页准备刷入磁盘,才刷了3个文件系统里的页,掉电了,则会出现重启后,MySQL内Page 1的页,物理上对应磁盘上的Page 1、Page 2、Page 3三个页,数据完整性被破坏。(Redo Log无法修复这类“页数据损坏”的异常,修复的前提是“页数据正确”并且Redo日志正常)

二、Doublewrite Buffer概念

针对上面出现的情况,如何解决这类“页数据损坏”的问题呢?很容易想到的方法是,能有一个“副本”,对原来的页进行还原,这个存储“副本”的地方,就是Doublewrite Buffer。Doublewrite Buffer,它与传统的“Buffer”又不同,它分为内存和磁盘的两层架构。(传统的“Buffer”,大部分是内存存储;而DWB里的数据,是需要落地的)

三、Doublewrite Buffer工作流程

在这里插入图片描述

如上图所示,当有页数据要刷盘时:

  • 页数据先memcopy到DWB的内存里;
  • DWB的内存里的数据页,会先刷到DWB的磁盘上;
  • DWB的内存里的数据页,再刷到数据磁盘存储.ibd文件上;

DWB为什么能解决“页数据损坏”问题呢?

假设步骤2掉电,磁盘里依然是Page 1、Page 2、Page 3、Page 4的完整数据。只要有页数据完整,就能通过Redo Log还原数据;假如步骤3掉电,DWB磁盘结构里存储着完整的数据。所以,一定不会出现“页数据损坏”问题。同时写了DWB磁盘和Data File,总有一个地方的数据是OK的

为什么叫Doublewrite?

步骤2和步骤3要写2次磁盘,这就是“Doublewrite”的由来

能够通过DWB保证页数据的完整性,但毕竟DWB要写两次磁盘,会不会导致数据库性能急剧降低呢?

  • 页数据memcopy到DWB的内存,速度很快;
  • DWB的内存fsync刷到DWB的磁盘,属于顺序追加写,速度也很快;
  • 刷磁盘,随机写,本来就需要进行,不属于额外操作;
  • 另外,128页(每页16K)2M的DWB,会分两次刷入磁盘,每次最多64页,即1M的数据(所以图中我们的DWB磁盘结构分为了两部分),执行也是非常之快的。综上,性能会有所影响,但影响并不大

四、Doublewrite Buffer的参数

我们使用如下命令查询

mysql> show variables like '%double%';
+-------------------------------+-------+
| Variable_name                 | Value |
+-------------------------------+-------+
| innodb_doublewrite            | ON    |
| innodb_doublewrite_batch_size | 0     |
| innodb_doublewrite_dir        |       |
| innodb_doublewrite_files      | 2     |
| innodb_doublewrite_pages      | 4     |
+-------------------------------+-------+
5 rows in set (0.01 sec)


mysql> show global status like '%dblwr%';
+----------------------------+-------+
| Variable_name              | Value |
+----------------------------+-------+
| Innodb_dblwr_pages_written | 489   |
| Innodb_dblwr_writes        | 176   |
+----------------------------+-------+
2 rows in set (0.00 sec)

4.1 innodb_doublewrite

Doublewrite Buffer是否启用开关,默认是开启状态,InnoDB将所有数据存储两次,首先到双写缓冲区,然后到实际数据文件

如果关闭,需要在my.cnf文件中指定

[mysqld]
innodb_doublewrite = off

4.2 Innodb_dblwr_pages_written & Innodb_dblwr_writes

  • Innodb_dblwr_pages_written 是doublewrite写的总的页数,即一共写入了489页
  • innodb_dblwr_writes是实际写入的次数为176

如果两个计数的比例远远小于64:1,则说明系统写入压力并不高。

4.3 innodb_doublewrite_batch_size

控制要批量写入的双写页数。此变量用于高级性能调整。默认值应该适合大多数用户(默认值是0,最大值是256)

4.4 innodb_doublewrite_dir

定义了目录InnoDB创建双写文件。如果未指定innodb_data_home_dir目录,则在目录中创建双写文件,如果未指定,则默认为数据目录。

4.5 innodb_doublewrite_files

定义了双写文件的数量。默认情况下,为每个缓冲池实例创建两个双写文件。双写文件的最大数量是缓冲池实例数量的两倍。(缓冲池实例的数量由innodb_buffer_pool_instances变量控制)

Doublewrite文件名具有以下格式:
例如,以下双写文件是为页面大小为16KB和单个缓冲池的MySQL实例创建的:#ib_丨page_size_file_丨number.dblwr

所以我们的DWB文件就被创建成下面的模样:

[root@mysql2 data]# ll \#ib_16384_*
-rw-r----- 1 mysql mysql  327680 54 12:40 #ib_16384_0.dblwr
-rw-r----- 1 mysql mysql 8716288 426 16:54 #ib_16384_1.dblwr

4.6 innodb_doublewrite_pages

控制每个线程双写页的最大数目。如果未指定值,innodb_doublewrite_pages则设置为该innodb_write_io_threads值。此变量用于高级性能调整。默认值应该适合大多数用户。(最小值和默认值一样,都是innodb_write_io_threads的值,最大值是256)

今天主要讲解了MySQL InnoDB Doublewrite Buffer的工作原理,通过流程图的方式来说明Doublewrite Buffer的工作流程,偏理论的知识,内容比较少也很好理解,大家理解记忆即可,面试也会遇到这个知识点。在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/488063.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【微机原理】汇编指令之传送指令

目录 一、传送类指令 1.MOV 传送指令 2.XCHG 传送指令 二、LEA 有效地址传送指令 三.堆栈操作指令 (1)入栈指令:PUSH (2)出栈指令:POP 四、输入输出指令 (1)IN 输入指令 &#xff08…

nginx部署本地启动vue项目

需求:就是想在本地不运行vue项目,可以直接访问到打包后的vue项目 1.安装nginx nginx: download,这里我安装的1.12.2稳定版本 2.下载完直接得到一个压缩包,直接把它解压到一个目录 !!!&#x…

CSI指纹预处理(中值、均值、Hampel、维纳滤波、状态统计滤波器)

目录 前言 1、箱线法 2、中值滤波器 3、均值滤波器 4、Hampel滤波器 5、维纳滤波 6、状态统计滤波器 前言 因为设备、温度和实验室物品摆设等因素的影响,未经处理的CSI数据不能直接使用,需要对数据进行异常值处理以保证数据的稳定性,…

力扣刷题2023-05-04-1——题目:2614. 对角线上的质数

题目: 给你一个下标从 0 开始的二维整数数组 nums 。 返回位于 nums 至少一条 对角线 上的最大 质数 。如果任一对角线上均不存在质数,返回 0 。 注意: 如果某个整数大于 1 ,且不存在除 1 和自身之外的正整数因子,…

【前端】1、flex 布局

flex 布局目录 一、flex container 和 flex items二、用在 flex container 上的 CSS 属性(1) flex-direction(2) justify-content(3) align-items 三、用在 flex items 上的 CSS 属性 一、flex container 和 flex items 🎄 1、开启了 Flex 布局的元素叫 flex cont…

系统分析师---系统规划高频错题

系统规划---成本效益分析 评价信息系统经济效益常用的方法主要有成本效益分析法,投入产出分析法和价值工程方法。盈亏平衡法常用于销售定价; 可行性分析 系统规划是信息系统生命周期的第一个阶段,其任务是对企业的环境、目标以及现有系统的…

CAN总线(HALL库使用)

目录 1.CAN总线介绍 2.STM32中CAN总线配置 3.HALL库实验 1.CAN总线介绍 1.闭环特点:速度快,距离短(40m) 2.开环特点:速度慢,距离长(1000m) 2.STM32中CAN总线配置 stm32的can总线分…

体验 gpt4free

体验 gpt4free 什么是 gpt4free安装 ffmpeg启动 gpt4free访问 gpt4free gui其他 什么是 gpt4free GPT4Free 是一个由 xtekky 创建的基于 OpenAI GPT-4 和 GPT-3.5 的 API。它可以向用户提供类似于 OpenAI GPT-3 的功能,如文本生成、问答、翻译等。 GPT4Free 与 Ope…

2023前端面试上岸手册——VUE部分

目录 Vue 的基本原理双向数据绑定的原理MVVM、MVC、MVP 的区别slot 是什么?有什么作用?原理是什么?\$nextTick 原理及作用Vue 单页应用与多页应用的区别Vue 中封装的数组方法有哪些,其如何实现页面更新Vue data 中某一个属性的值发…

详解:搭建常见问题(FAQ)的步骤?

许多的Web用户都更加偏向于可信赖的FAQ页面,以此作为快速查找更多信息的方法。因为用户时间的紧缺,并且想知道产品的功能和能够提供的服务。构造精巧的FAQ页面是提供人们寻求信息的绝妙方法,而且还可以提供更多的信息。这就是为什么FAQ页面对…

1. C++面向过程

一、C简介 1.1 C的产生及其特点 从C语言发展演变而来,解决了C语言中存在的一些问题,并增加了对面向对象程序设计方法的支持 与其他高级语言相比,C语言可以直接访问物理地址;与汇编相比它具有良好的可读性和可移植性 C于1980年由…

【软考中级】2022下半年软件设计师案例分析题级答案

试题一(共15分) 阅读下列说明和图,回答问题1至问题4,将解答填入答题纸的对应栏内。 【说明】 随着新能源车数量的迅猛增长,全国各地电动汽车配套充电桩急速增长,同时 也带来了充电桩计量准确性的问题。充电桩都需要配备相应的…

RabbitMQ-保证消息可靠性

RabbitMQ-保证消息可靠性 1.消息可靠性1.1.生产者消息确认1.1.1.修改配置1.1.2.定义Return回调1.1.3.定义ConfirmCallback 1.2.消息持久化1.2.1.交换机持久化1.2.2.队列持久化1.2.3.消息持久化 1.3.消费者消息确认1.3.1.演示none模式1.3.2.演示auto模式 1.4.消费失败重试机制1.…

API接口的应用

一、API接口的应用 API(Application Programming Interface,应用程序编程接口)接口在现代计算机科学中是一个非常重要的概念。API接口允许不同的应用程序、设备和服务进行交流、互操作和数据共享。下面我们将针对API接口的应用方向和场景进行…

计算机网络笔记:计算机网络体系结构(OSI七层模型、TCP/IP五层协议)

计算机网络体系结构 计算机网络是一个复杂的、具有综合性技术的系统,它由计算机系统、通信处理机、通信线路和通信设备、操作系统以及网络协议等组成。为了更好地描述计算机网络结构,使计算机网络系统有条不紊地处理工作,需要定义一种较好的…

Python中如何使用os模块和shutil模块处理文件和文件夹

os和shutil都是Python标准库中用于处理文件和文件夹的模块,它们都提供了许多常用的文件和文件夹操作功能,但是它们的使用场景和优势有所不同。 os模块提供了许多操作系统相关的功能,例如打开文件、读取文件、获取文件属性、创建目录、删除文件…

阿里云服务器ECS上安装Redis数据库流程by Alibaba Cloud Linux

阿里云服务器操作系统Alibaba Cloud Linux 2针对Redis应用进行了专项调优,相比社区版操作系统,Redis应用整体性能提升20%以上。Alibaba Cloud Linux 2内置Redis 6.0.5和Redis 3.2.12的yum源,执行sudo yum install命令即可部署Redis 6.0.5和Re…

【Redis—哨兵机制】

概念 当进行主从复制时,如果主节点挂掉了,那么没有主节点来服务客户端的写操作请求了,也没有主节点给从节点进行数据同步了。此时需要进行主从切换(主从节点故障转移),Redis在 2.8 版本以后提供的哨兵&…

海外新闻稿:如何写好英语新闻稿的开头与结尾?

随着全球化的发展,英语已成为一种全球性的语言。在现代社会,英语新闻稿已经成为了各个行业重要的宣传方式。然而,如何写好英语新闻稿的开头与结尾却是一门很深的学问。在本文中,我们将探讨如何写出一个成功的英语新闻稿开头和结尾…

一个前端大佬的十年回顾 | 漫画前端的前世今生

作者:京东科技 胡骏 引言 岁月如梭,十载流年 前端技术,蓬勃向前 HTML,CSS,JavaScript 演绎出璀璨夺目的技术画卷 回到十年前,前端技术就像一名戴着厚重眼镜的书呆子,总是小心翼翼&#xff…