innodb buffer pool

news2024/11/25 16:45:38

buffer pool是主存中的一个区域,InnoDB 在访问时缓存表和索引数据。缓冲池允许直接从内存访问频繁使用的数据,这加快了处理速度。在专用服务器上,高达80% 的物理内存通常分配给缓冲池。为了提高大容量读取操作的效率,将缓冲池划分为可能包含多行的页。为了提高缓存管理的效率,缓冲池被实现为页链表; 使用最近使用次数最少(LRU)算法的一个变体,很少使用的数据被老化到缓存之外。

buffer pool LRU

innodb buffer pool LRU在一个新页加入的时候会将最近最少使用的页驱逐出去,并将新页加入到链表中间。中点插入策略将链表看作两个子链表

  • 在new sublist的head是最近访问过的
  • 在old sublist的tail是最近最少访问过的

在这里插入图片描述

在该算法中定义最频繁访问的页在new sublist,old sublist则是访问不频繁的页,等待被淘汰

  1. 最初访问的页(用户发起的操作或者预读)将会插入到两个sublist的中点。也即new sublist尾部,old sublist头部

  2. 访问old sublist的页将会使之移动到new sublist的head

    如果由于用户发起的操作需要读取该页,则立即进行第一次访问,并使该页更新。如果由于预读操作而读取了该页,则第一次访问不会立即发生,并且可能在驱逐该页之前根本不会发生。

  3. 当数据库运行时,缓冲池中未被访问的页面会向列表尾部移动,从而“老化”。new sublist中的页面都会随着其他页面的更新而老化。old sublist中的页面也会随着页面在中点插入而老化。最终,未使用的页面到达old sublist的尾部并被驱逐。

默认情况下,查询读取的页面会立即移动到新的子列表中,这意味着它们在缓冲池中停留的时间更长。例如,对于mysqldump操作或不带WHERE子句的SELECT语句执行的表扫描,可能会将大量数据带入缓冲池,并驱逐等量的旧数据,即使新数据不再使用。类似地,由预读后台线程加载且只访问一次的页面被移动到新列表的头部。这些情况可以将经常使用的页面推到旧的子列表中,在那里它们将被删除。

为应对这种情况,innodb在进入new sublist增加了在old sublist的停留时间innodb_old_blocks_time(默认1000ms),也就是在这个时间间隔内,就不会从old移动到new区

预读

在上面的LRU中提到了预读,那么在innodb中预读是如何表现的呢?

  • linear: 当一个区有连续56页(56是默认值,可以通过设置innodb_read_ahead_threshold改变。范围是0-64,因为最大就是64页)都被读取,那么该区所有页将会被异步预读到buffer pool
  • random: 当一个区随机13个页(13是innodb_random_read_ahead的默认值)都在buffer pool中,那么该区所有页将会被异步预读到buffer pool

innodb LRU在原来LRU的基础上重点是尽快驱逐那些较少使用的数据,为此引入了分段式的链表以及从old到new的时间限制

其实这两个手段很大程度上都是在解决预读所引发的问题,前者是由于预读机制的存在,可能会导致大量并没有实际访问过的数据驱逐了少量实际访问的数据;后者则是因为全表扫描之类情况扫描了全表数据,又因为预读的存在,多读了一次会使得被扫描的数据直接到new sublist

这算得是是一种应对这两种情况的好手段,我在想相比于改良版的k-lru究竟孰强孰弱呢?毕竟只要k设置的合理,这两种情况其实都能避免,只是说k-lru多引入了对访问次数的维护

buffer pool内存管理

在buffer pool中内存管理主要是针对空闲页(也就是如何很快地分配空闲页)以及脏页(也就是如何很快地刷新到持久化储存)

对此,采用了free链表、flush链表分别设计用来管理空闲页和脏页,那样就能很快锁定需要的页,而不需要全部扫描

Ref

  1. https://dev.mysql.com/doc/refman/8.0/en/innodb-buffer-pool.html
  2. https://dev.mysql.com/doc/refman/8.0/en/innodb-performance-read_ahead.html
  3. https://dev.mysql.com/doc/refman/8.0/en/innodb-parameters.html#sysvar_innodb_old_blocks_time
  4. https://xiaolincoding.com/mysql/buffer_pool/buffer_pool.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/859327.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

fetch异步上传图片(附html+JavaScript+php代码)

效果 index.html <!DOCTYPE html> <html><head><title>图片上传示例</title><meta charset"utf-8"><script src"upload.js"></script><style>*{padding: 0;margin: 0;}#app{width: 500px;margin: …

什么是媒体代发布?媒体代发布注意事项

传媒如春雨&#xff0c;润物细无声&#xff0c;大家好&#xff0c;我是51媒体网胡老师。 媒体代发布是指将新闻稿或其他宣传内容委托给专业的媒体代理机构或公司进行发布和推广的活动。这些机构通常拥有丰富的媒体资源、人脉和经验&#xff0c;能够更好地将信息传递给目标受众…

MySQL5.7保姆级安装教程

环境 Linux版本Mysql版本(待安装)CentOS 75.7 1、配置YUM源 在MySQL官网中下载YUM源rpm安装包&#xff1a;http://dev.mysql.com/downloads/repo/yum/ 目前MySQL官网下载的MySQL源安装后yum下载的MySQL是8.0版本&#xff0c;为了非必要的麻烦&#xff0c;直接提供MySQL5.7的…

MNIST数据集知识合集

MNIST数据集知识合集 认识MNIST数据集通过本地文件加载MNIST数据集torchvision.datasets加载MNIST数据集可视化&#xff08;即转换成.jpg/.png之类的文件&#xff09;疑惑—datasets.mnist和datasets.MNIST问题—downloadFalse运行报错 搭建CNN用于数字识别 认识MNIST数据集 M…

MODBUS TCP转CCLINK IE协议网关cclink通讯异常的处理方法

你是否曾经遇到过需要将不同的设备连接到一个统一的网络中&#xff1f;或者你是否曾经遇到过设备之间的通讯协议不兼容的问题&#xff1f;捷米的JM-CCLKIE-TCP通讯网关就是为解决这些问题而设计的。 JM-CCLKIE-TCP通讯网关是一款自主研发的CCLINK IE FIELD BASIC从站功能的通讯…

Appium2 安装教程

目录 第一步&#xff1a;安装 node.js 第二步&#xff1a;安装 Android Studio 第三步&#xff1a;下载 JDK 第四步&#xff1a;安装 Appium 卸载旧版本appium1.X 安装新版Appium2.0 安装appium驱动与插件 第五步&#xff1a;安装appium inspector 第六步&#xff1a;…

VSCode-Python传参数进行Debug

新建demo.py import argparse def parse_args():description "debug example" parser argparse.ArgumentParser(descriptiondescription) help "The path of address"parser.add_argument(--host,help help) parser.add_ar…

2023-08-05力扣今日五题-好题

链接&#xff1a; 剑指 Offer 52. 两个链表的第一个公共节点 题意&#xff1a; 如题 解&#xff1a; 非常有趣的双指针 首先我们不管他们是否有公共段啊&#xff0c;我们要知道一个指针从A出发走到A结尾&#xff0c;再从B出发走到B结尾&#xff0c;和从B出发最终到A结尾是…

小程序逆向之源码获取

背景&#xff1a;小程序使用越来越多&#xff0c;很多时候&#xff0c;我们工作中需要用到对小程序的研究&#xff0c;那么就出现了一个课题&#xff0c;小程序如何逆向&#xff0c;如何获取源码&#xff0c;今天这篇文章就来讲一下如何获取源码&#xff08;pc端&#xff09;。…

Amplifier--Transistor amplify introduce

#1, 功率放大器分类&#xff1a;甲类&#xff0c;乙类&#xff0c;甲乙类 #2&#xff0c; 甲类放大器&#xff1a; 当静态工作点Q设在负载线线段的中点&#xff0c; 在整个信号周期内都有电流Ic通过时&#xff0c;称为甲类放大器&#xff1b; #3&#xff0c; 乙类放大器&…

年至年的选择仿elementui的样式

组件&#xff1a;<!--* Author: liuyu liuyuxizhengtech.com* Date: 2023-02-01 16:57:27* LastEditors: wangping wangpingxizhengtech.com* LastEditTime: 2023-06-30 17:25:14* Description: 时间选择年 - 年 --> <template><div class"yearPicker"…

轻松批量自定义重命名,为文件夹加上个性化编号!

在日常生活和工作中&#xff0c;我们经常需要对大量的文件夹进行重命名&#xff0c;以更好地管理和整理文件。然而&#xff0c;手动逐个修改文件夹名称费时费力&#xff0c;效率低下。现在&#xff0c;我们为您推荐一款简单易用的工具&#xff0c;可以帮助您快速批量自定义重命…

Unity-UGUI优化策略

界面出栈规则&#xff1a; 界面目录导航、策划界面回退需求造成界面套娃问题&#xff0c;夹带一系列层级问题&#xff0c;应该和策划进行友好沟通&#xff0c;避免界面不合理的出栈入栈规则 overdraw&#xff1a; 尽量减少同屏 半透明物体渲染 Unity 之 UGUI优化&#xff08;…

C++入门--string类的实现

目录 1.string类常用函数实现&#xff08;1&#xff09;string类成员变量定义&#xff08;2&#xff09; string类默认构造函数实现&#xff08;3&#xff09; string类拷贝构造函数实现&#xff08;4&#xff09;string类析构函数&#xff08;5&#xff09;string类c_str()函数…

linux umask:文件访问权限控制预设值

1. umask 定义 在 linux 系统中&#xff0c;umask 被定义在 /etc/profile 配置文件中&#xff0c;有一段 shell 脚本对 umask 是这么定义的。在 shell 会话输入命令&#xff1a; $ cat /etc/profile # 查看 /etc/profile 配置文件的内容 if [ $UID -gt 199 ] &&…

七夕送什么比较好?适合七夕节送的礼物

七夕将至&#xff0c;这是中国传统节日中最浪漫的一天&#xff0c;也是许多情侣们表达爱意的特殊时刻。在这个美好的节日里&#xff0c;送上一份特别的礼物&#xff0c;不仅能让心爱的人感受到你的深情厚意&#xff0c;还能为你们的爱情故事添上浓墨重彩的一笔。还不知道七夕要…

ElasticSearch:项目实战(1)

es环境搭建参考&#xff1a;ElasticSearch&#xff1a;环境搭建步骤_Success___的博客-CSDN博客 需求&#xff1a; 用户输入关键可搜索文章列表 关键词高亮显示 文章列表展示与home展示一样&#xff0c;当用户点击某一篇文章&#xff0c;可查看文章详情 思路&#xff1a; …

【腾讯云 Cloud Studio 实战训练营】深度体验 | 使用腾讯云 Cloud Studio 快速构建 Vue + Vite 完成律师 H5 页面

【腾讯云 Cloud Studio 实战训练营】深度体验 | 使用腾讯云 Cloud Studio 快速构建 Vue Vite 完成律师 H5 页面 写在前面的话一、腾讯云 Cloud Studio 介绍1.1 Cloud Studio 应用场景1.2 Cloud Studio 开发优势 二、沉浸式体验开发快速构建 H5 页面2.1 注册与登录 Cloud Studi…

第7章 通过内网本机IP获取微信code值及其对code值的回调。

在第5章中讲述了怎样通过内网穿透外外网从而获取微信code值&#xff0c;实际上微信测试帐号管理页中也支持通过内网本机IP获取微信code值。 1 重构launchSettings.json "https": { "commandName": "Project", "dotnetRunMessages": t…

代码随想录—力扣算法题:59螺旋矩阵II.Java版(示例代码与导图详解)

版本说明 当前版本号[20230810]。 版本修改说明20230810初版 目录 文章目录 版本说明目录59.螺旋矩阵II思路左闭右开方法左闭右闭方法两种方法的区别总结 59.螺旋矩阵II 力扣题目链接 更多内容可点击此处跳转到代码随想录&#xff0c;看原版文件 给定一个正整数 n&#xf…