数据库MVCC详解

news2025/3/25 23:54:49

MVCC

1.基本介绍

数据库：MySQL。【很多主流数据库都使用了MVCC，比如MySQL的InnoDB引擎、PostgreSQL、Oracle】

MVCC，全称Multi-Version Concurrency Control，即多版本并发控制。是数据库管理系统中的一种并发控制方法。

MVCC的基本原理: 它通过保存数据的历史版本来实现，这样读操作不会被写操作阻塞，写操作也不会被读操作阻塞。这样的话，提高了并发性能。比如说，当一个事务开始读取数据时，它会看到数据库在某个时间点的快照，之后即使其他事务修改了数据，这个事务看到的还是旧版本的数据，直到它提交或者回滚。

不同的隔离级别（如读已提交、可重复读、串行化）在MVCC中的实现方式不同。例如，在读已提交级别下，每次读取都会获取最新的快照，而可重复读则是在事务开始时确定快照，后续读取都基于这个快照，从而避免不可重复读的问题。

  • 当前读和快照读
  • 当前读：像select lock in share mode(共享锁), select for update ; update, insert ,delete(排他锁)这些操作都是一种当前读，为什么叫当前读？就是它读取的是记录的最新版本，读取时还要保证其他并发事务不能修改当前记录，会对读取的记录进行加锁。
  • 快照读：像不加锁的select操作就是快照读，即不加锁的非阻塞读；快照读的前提是隔离级别不是串行级别，串行级别下的快照读会退化成当前读；之所以出现快照读的情况，是基于提高并发性能的考虑，快照读的实现是基于多版本并发控制，即MVCC,可以认为MVCC是行锁的一个变种，但它在很多情况下，避免了加锁操作，降低了开销；既然是基于多版本，即快照读可能读到的并不一定是数据的最新版本，而有可能是之前的历史版本

MVCC就是为了实现读-写冲突不加锁，而这个读指的就是快照读, 而非当前读，当前读实际上是一种加锁的操作，是悲观锁的实现

当前读 <==> 悲观锁; 快照读 <=> 乐观锁？

2.mvcc实现原理

数据库不知道的秘密。

每行记录除了我们自定义的字段外，还有数据库隐式定义的DB_TRX_ID,DB_ROLL_PTR,DB_ROW_ID等字段

  • DB_TRX_ID：6byte，最近修改(修改/插入)事务ID：记录创建这条记录/最后一次修改该记录的事务ID ---------【事务ID】
  • DB_ROLL_PTR：7byte，回滚指针，指向这条记录的上一个版本（存储于rollback segment里） -----------------【回滚指针】
  • DB_ROW_ID：6byte，隐含的自增ID（隐藏主键），如果数据表没有主键，InnoDB会自动以DB_ROW_ID产生一个聚簇索引 ----------【隐藏主键】
  • 实际还有一个删除flag隐藏字段, 既记录被更新或删除并不代表真的删除，而是删除flag变了 --------【删除标记】

① MVCC 核心机制

  • 版本链：每行数据通过隐藏字段 DB_TRX_ID（事务ID）和 DB_ROLL_PTR（回滚指针）维护多个版本。
  • ReadView：事务启动时生成一个“快照”，记录当前活跃事务的 ID 列表，用于判断数据版本的可见性。
  • 事务隔离级别：不同隔离级别下，ReadView 的生成规则不同（例如“读已提交”每次读都生成新快照，“可重复读”使用事务启动时的快照）。

②示例

有这样一张表，里面有记录。

idnameageDB_TRX_IDDB_ROLL_PTR
1Alice251000x0000

初始版本由事务 txid=100 提交生成；DB_ROLL_PTR 指向旧版本（初始为 NULL）。

这个时候有两个事务来了。

  • 事务A（txid=200）：执行 UPDATE user SET age=26 WHERE id=1。
  • 事务B（txid=201）：在事务A提交前，执行 SELECT * FROM user WHERE id=1。

事务A 更新数据，InnoDB引擎，会为这行数据创建一个新版本，并修改 DB_TRX_ID=200，DB_ROLL_PTR 指向旧版本（事务100提交的版本）。

这个时候，还没有A事务还没有提交，新版本（V2）还未提交，旧版本（V1）仍然存在。

id | name  | age | DB_TRX_ID | DB_ROLL_PTR     【这个是新版本V2】
---|-------|-----|-----------|------------
1  | Alice | 26  | 200       | 0x1234（指向旧版本V1）
                                 丨丨
                                 丨丨
                                  ↓

id | name  | age | DB_TRX_ID | DB_ROLL_PTR     【这个是旧版本V1】
---|-------|-----|-----------|------------
1  | Alice | 25  | 100       | 0x0000

然后，事务B读取数据，事务B 启动时会生成一个 ReadView，记录当前活跃事务的 ID 列表。假设此时只有事务A（txid=200）未提交，活跃事务列表为 [200]

事务B 根据 ReadView 判断数据版本的可见性：

  • 规则：若数据版本的 DB_TRX_ID 小于当前事务的 txid，且该事务已提交，则可见。
  • 当前数据最新版本是 V2（DB_TRX_ID=200），但事务B 的 ReadView 显示 txid=200 是活跃的（未提交），因此 V2 不可见。
  • 事务B 沿着回滚指针（DB_ROLL_PTR）找到旧版本 V1（DB_TRX_ID=100），判断 100 < 201 且已提交，因此返回 V1 的数据：

故，事务B读到的如下：

id | name  | age 
---|-------|-----
1  | Alice | 26

可以看到上述读写，好像没有加锁。。

③可见性规则

InnoDB 判断数据版本是否可见的逻辑如下：

  1. 如果数据版本的 DB_TRX_ID 小于当前事务的 txid，且该事务已提交 → 可见，【怎么看提交了没有呢？看事务的活跃列表】。
  2. 如果数据版本的 DB_TRX_ID 等于当前事务的 txid → 可见（事务可以看到自己的修改）。
  3. 如果数据版本的 DB_TRX_ID 大于当前事务的 txid → 不可见（属于未来的修改）。
  4. 如果数据版本的 DB_TRX_ID 在事务的 ReadView 活跃列表中 → 不可见（该事务尚未提交）。

MVCC 通过维护数据多版本和 ReadView 机制，实现读写不阻塞和高并发：

  1. 写操作：生成新版本，不影响其他事务的读操作。
  2. 读操作：基于快照读取旧版本，无需加锁。
  3. 提交后的版本：对新事务可见，旧事务仍看到历史版本。

这种机制在保证事务隔离性的同时，极大提升了数据库并发性能。

3.补充知识点

MySQL 中的 undo log、redo log 和 binlog 是三种核心日志，各自承担不同的职责，共同保障数据库的事务性、持久性和高可用性

下面三个是参考deepseek的解释。

① Undo Log（回滚日志）

作用

  • 事务回滚：记录数据修改前的旧值，用于事务回滚时恢复原始数据。
  • MVCC（多版本并发控制）：提供历史版本数据，支持一致性非锁定读（Consistent Non-locking Read）。

工作机制

  • 当执行 INSERT、UPDATE 或 DELETE 时，InnoDB 会将修改前的数据保存到 undo log。
  • 事务回滚：通过 undo log 逆向操作，恢复数据到修改前的状态。
  • MVCC 实现：其他事务读取数据时，若当前版本不可见（如未提交），则通过 undo log 找到可见的历史版本。

见上面的mvcc。

② Binlog（二进制日志）

作用

  • 主从复制：记录所有数据库修改操作，用于主库到从库的数据同步。
  • 数据恢复：支持按时间点恢复数据（Point-in-Time Recovery, PITR）。

工作机制

  • 逻辑日志：记录 SQL 语句或行的逻辑变化（取决于 binlog_format：STATEMENT、ROW、MIXED）。
  • 写入时机：事务提交后写入 binlog（与 redo log 不同）。
  • 刷盘控制：由 sync_binlog 参数控制刷盘频率。

我来举个例子：

-- 事务C: 删除一行数据
BEGIN;
DELETE FROM users WHERE id = 1;
COMMIT;

-- 提交后，binlog 记录该 DELETE 语句（或行变化）。从库读取 binlog 并重放，保持数据一致性。

③ Redo Log（重做日志）

作用

  • 崩溃恢复：确保事务的持久性（Durability）。即使数据库崩溃，已提交的事务修改不会丢失。
  • Write-Ahead Logging (WAL)：修改数据前，先记录重做日志到磁盘。

工作机制

  • 事务提交时，先将所有修改的物理页变化记录到 redo log（顺序写入，性能高）。
  • 刷盘策略：由 innodb_flush_log_at_trx_commit 控制：
    • 1（默认）：每次提交都刷盘，保证崩溃恢复不丢数据。
    • 0 或 2：延迟刷盘，性能更高但可能丢失部分数据。
  • 崩溃恢复：重启后，通过 redo log 重放未写入数据文件的修改。

我来举个例子：

-- 事务B: 插入一条新数据
BEGIN;
INSERT INTO users (id, name) VALUES (2, 'Bob');
COMMIT; 

-- 提交时，redo log 记录插入操作的物理页修改，之后数据可能还未写入磁盘。
-- 若此时崩溃，重启后根据 redo log 恢复该插入操作。

以更新操作为例子：

  1. 事务执行：修改数据前，将旧值记录在undo log；最终还是要修改磁盘数据的，还记录一下修改的物理页位置 redo log
  2. 事务提交：redo log标记为prepare 状态并刷盘。 写入 binlog 并刷盘。将 redo log 标记为 commit 状态（两阶段提交，保证一致性）。
  3. 崩溃恢复： 若崩溃发生在 binlog 写入前，事务回滚（通过 undo log）。 若 binlog 已写入，则根据 redo log 重放修改。

1. 为什么需要 redo log 和 binlog 两种日志？

  • redo log 是 InnoDB 引擎层的物理日志，保证崩溃恢复和持久性。
  • binlog 是 MySQL Server 层的逻辑日志，支持主从复制和跨引擎数据恢复。
  • 二者结合通过“两阶段提交”确保数据一致性。

2. undo log 会被删除吗？

  • 当事务提交且没有其他事务需要访问旧版本数据时，undo log 可以被清理。
  • 长事务可能导致 undo log 堆积（“版本膨胀”），影响性能。

3. binlog 和 redo log 的写入顺序？

  • 事务提交时，先写 redo log（prepare） → 再写 binlog → 最后写 redo log（commit）。

  • 这是为了确保崩溃恢复时，binlog 和 redo log 的一致性（两阶段提交）。

  • undo log：保障事务的原子性和 MVCC。

  • redo log：保障事务的持久性和崩溃恢复。

  • binlog：保障数据可复制性和逻辑恢复。

end.参考

参考：https://www.cnblogs.com/jelly12345/p/14889331.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2320764.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

AI比人脑更强，因为被植入思维模型【17】万物联系思维模型

AI比人脑更强，因为被植入思维模型【17】万物联系思维模型

万物联系，万物，并不孤立。 定义 万物联系思维模型是一种强调世界上所有事物都相互关联、相互影响的思维方式。它认为任何事物都不是孤立存在的，而是与周围的环境、其他事物以及整个宇宙构成一个有机的整体。这种联系不仅包括直接的因果关系，还涵盖了间接的、潜在的、动态的…
阅读更多...
【MySQL篇】复合查询

【MySQL篇】复合查询

目录 前言&#xff1a; 1&#xff0c;多表查询 2&#xff0c;自连接 3&#xff0c;子查询 3.1&#xff0c;单行子查询 3.2&#xff0c;多行子查询 3.3&#xff0c;多列子查询 3.3&#xff0c;在from子句中使用子查询 4&#xff0c;合并查询 4.1&#xff0c;union …
阅读更多...
unsloth微调QwQ32B(4bit)

unsloth微调QwQ32B(4bit)

unsloth微调QwQ32B(4bit) GPU: 3090 24G unsloth安装部署 pip 安装 pip install unsloth --index https://pypi.mirrors.usrc.edu.cn/simplesource /etc/network_turbopip install --force-reinstall --no-cache-dir --no-deps githttps://github.com/unslothai/unsloth.git​…
阅读更多...
基于腾讯云大模型知识引擎×DeepSeek的高等职业学校单独招生二级学院考前咨询系统

基于腾讯云大模型知识引擎×DeepSeek的高等职业学校单独招生二级学院考前咨询系统

1、主要思路 通过大模型知识引擎DeepSeek搭建高等职业学校单独招生二级学院考前咨询专有问答&#xff0c;使得专业老师能够更好的服务考试学生&#xff0c;有利于二级学院能够更好的进行考试宣传&#xff0c;招来优秀学子&#xff01; 2、创作过程 2.1、本地部署大模型的缺陷…
阅读更多...
【Linux】线程库

【Linux】线程库

一、线程库管理 tid其实是一个地址 void* start(void* args) {const char* name (const char *)args;while(true){printf("我是新线程 %s &#xff0c;我的地址&#xff1a;0x%lx\n",name,pthread_self());sleep(1);}return nullptr; }int main() {pthread_t tid…
阅读更多...
物化视图详解：数据库性能优化的利器

物化视图详解：数据库性能优化的利器

物化视图&#xff08;Materialized View&#xff09;作为数据库性能优化的核心手段&#xff0c;通过预计算和存储查询结果&#xff0c;显著提升了复杂查询的效率。本文将深入剖析物化视图的工作原理、应用场景及最佳实践&#xff0c;帮助企业在合适的场景中充分发挥其性能优势。…
阅读更多...
蓝桥杯备考-》单词接龙

蓝桥杯备考-》单词接龙

很明显&#xff0c;这道题是可以用DFS来做的&#xff0c;我们直接暴力搜索&#xff0c;但是这里有很多点是我们需要注意的。 1.我们如何确定两个单词能接上&#xff1f; 比如touch和choose 应该合成为touchoose 就是这样两个单词&#xff0c;我们让一个指针指着第一个字符串…
阅读更多...
计算机视觉yolov8模型应用-学习笔记

计算机视觉yolov8模型应用-学习笔记

计算机视觉yolov8模型应用-学习笔记 YOLOv8是由Ultralytics公司在‌2023年1月10日‌发布的一款深度学习模型。它是YOLOv5的重大更新版本&#xff0c;支持图像分类、物体检测和实例分割任务。这一版本在发布前就受到了广泛关注&#xff0c;并在发布后迅速成为目标检测领域的热门…
阅读更多...
【网络层协议】NAT技术内网穿透

【网络层协议】NAT技术内网穿透

IP地址数量限制 我们知道&#xff0c;IP地址&#xff08;IPv4&#xff09;是一个4字节32位的整数&#xff0c;那么一共只有2^32也就是接近43亿个IP地址&#xff0c;而TCP/IP协议栈规定&#xff0c;每台主机只能有一个IP地址&#xff0c;这就意味着&#xff0c;一共只有不到43亿…
阅读更多...
深入理解 C++11 智能指针：独占、共享与弱引用的完美管理

深入理解 C++11 智能指针：独占、共享与弱引用的完美管理

文章目录 std::unique_ptr&#xff08;独占式智能指针&#xff09;std::shared_ptr&#xff08;共享式智能指针&#xff09;std::weak_ptr&#xff08;弱引用智能指针&#xff09;示例展示&#xff1a;智能指针的原理内存泄漏**什么是内存泄漏&#xff0c;内存泄漏的危害****如…
阅读更多...
AI Agent开发大全第四课-提示语工程：从简单命令到AI对话的“魔法”公式

AI Agent开发大全第四课-提示语工程：从简单命令到AI对话的“魔法”公式

什么是提示语工程？一个让AI“听话”的秘密 如果你曾经尝试过用ChatGPT或者其他大语言模型完成任务，那么你一定遇到过这样的情况：明明你的问题是清晰的，但答案却离题万里；或者你认为自己提供的信息足够详尽，可结果还是不理想。问题出在哪？很多时候并不是因为AI不够聪明，…
阅读更多...
大模型架构记录 【综述-文字版】

大模型架构记录 【综述-文字版】

名词解释&#xff1a; Prompt &#xff1a;提示词&#xff0c;是一个非常关键的概念&#xff0c;它指的是用户输入的文本或指令&#xff0c;用于引导语言模型生成相应的回答或执行特定任务。 Prompt Engineering&#xff1a;&#xff08;提示工程&#xff09; 是一种通过设计…
阅读更多...
【论文笔记】Transformer

【论文笔记】Transformer

Transformer 2017 年&#xff0c;谷歌团队提出 Transformer 结构&#xff0c;Transformer 首先应用在自然语言处理领域中的机器翻译任务上&#xff0c;Transformer 结构完全构建于注意力机制&#xff0c;完全丢弃递归和卷积的结构&#xff0c;这使得 Transformer 结构效率更高…
阅读更多...
使用CSS3实现炫酷的3D翻转卡片效果

使用CSS3实现炫酷的3D翻转卡片效果

使用CSS3实现炫酷的3D翻转卡片效果 这里写目录标题 使用CSS3实现炫酷的3D翻转卡片效果项目介绍技术要点分析1. 3D空间设置2. 核心CSS属性3. 布局和定位 实现难点和解决方案1. 3D效果的流畅性2. 卡片内容布局3. 响应式设计 性能优化建议浏览器兼容性总结 项目介绍 在这个项目中…
阅读更多...
SpringSecurity——基于角色权限控制和资源权限控制

SpringSecurity——基于角色权限控制和资源权限控制

目录 基于角色权限控制 1.1 自定义 UserDetailsService 1.2 加载用户角色 1.3. 给角色配置能访问的资源&#xff08;使用切面拦截&#xff0c;使用注解&#xff09; 总结 资源权限控制 2.2. 需要有一个用户&#xff1b;&#xff08;从数据库查询用户&#xff09; 2.2 基…
阅读更多...
红宝书第十一讲：超易懂版「ES6类与继承」零基础教程：用现实例子+图解实现

红宝书第十一讲：超易懂版「ES6类与继承」零基础教程：用现实例子+图解实现

红宝书第十一讲&#xff1a;超易懂版「ES6类与继承」零基础教程&#xff1a;用现实例子图解实现 资料取自《JavaScript高级程序设计&#xff08;第5版&#xff09;》。 查看总目录&#xff1a;红宝书学习大纲 一、ES6类的核心语法&#xff1a;把事物抽象成“模板” 想象你要设…
阅读更多...
Python为Word文档添加书签并打包成exe

Python为Word文档添加书签并打包成exe

背景简述 由于一些工作场景&#xff0c;需要从多个Word文档中找到出现的关键词&#xff0c;并阅读关键词的上下文内容。文件可能几十个&#xff0c;手动操作太要命了。所以python尝试处理。 目录 背景简述思路第一步、功能实现结果验证 第二步、打包成exe2-1、基础准备2-2、打…
阅读更多...
ROS导航工具包Navigation

ROS导航工具包Navigation

一&#xff0c;安装 Navigation工具包包含在 navigation 元功能包中。你可以通过以下命令安装&#xff1a; sudo apt-get install ros-noetic-navigation 如果你使用的是其他ROS版本&#xff08;如Melodic&#xff09;&#xff0c;将 noetic 替换为对应的版本名称&#xff08…
阅读更多...
资金管理策略思路

资金管理策略思路

详细描述了完整交易策略的实现细节&#xff0c;主要包括输入参数、变量定义、趋势判断、入场与出场条件、止损与止盈设置等多个方面。 输入参数&#xff08;Input&#xff09;&#xff1a; EntryFrL (.6)&#xff1a;多头入场的前一日波动范围的倍数。 EntryFrS (.3)&#xff1…
阅读更多...
工业软件的破局与重构：从技术依赖到自主创新的未来路径

工业软件的破局与重构：从技术依赖到自主创新的未来路径

工业软件作为现代工业的“神经与大脑”&#xff0c;不仅是制造业数字化转型的核心工具&#xff0c;更是国家工业竞争力的战略制高点。近年来&#xff0c;中国工业软件市场在政策驱动与技术迭代中迅猛发展&#xff0c;但核心技术受制于人的困境仍待突破。如何实现从“跟跑”到“…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023