数据库并发的场景
读-读:不存在任何问题,也不需要并发控制
读-写:有线程安全问题,可能会造成事务隔离性问题,可能遇到脏读,幻读,不可重复读
写-写:有线程安全问题,可能存在更新丢失,比如第一类更新丢失,第二类更新丢失
读-写
多版本并发控制(MVCC)是一种用来解决读-写
冲突的无锁并发控制
为事务分配单向增长的事务id,为每个修改保存一个版本,版本与事务id关联,读操作只读事务开始以前的数据库的快照。所以MVCC可以为数据库解决以下问题
- 并发读写时,可以做到读操作时不用阻塞写操作,写操作也不用阻塞读操作,提高并发读写的性能
- 还可以解决脏读,幻读,不可重复读等事务隔离问题,但不能解决更新丢失问题
理解MVCC需要理解三个前提:
- 3个记录隐藏字段
- undo日志
- Read View
3个记录隐藏字段
- DB_TRX_ID:6byte,最近修改(修改/插入)事务id,记录创建这条记录/最后一次修改该记录的事务ID
- DB_ROLL_PTR:7byte,回滚指针,指向这条记录的上一个版本(简单理解成,指向历史版本,这些数据一般在undo log中)
- DB_ROW_ID:6byte,隐含的自增ID(隐藏主键),如果数据表没有主键,innodb会自动以DB_ROW_ID产生一个聚簇索引
- 补充:实际还有一个删除flag隐藏字段,既记录被更新或删除并不代表真的删除,而是删除flag变了
假设测试表结构是:
mysql> create table if not exists student(
name varchar(11) not null,
age int not null
);
mysql> insert into student (name, age) values (‘张三’, 28);
Query OK, 1 row affected (0.05 sec)
mysql> select * from student;
上面描述的意思是:
我们目前并不知道创建该记录的事务id,隐藏主键,就默认设置成null,1.第一条记录也没有其他的版本,设置回滚指针为null
undo日志
mysql将来以服务进程的方式,在内存中运行。之前所说的所有机制:索引,事务,隔离性,日志等,都是在内存中完成的,即在mysql内部的相关缓冲区中,保存相关数据,完成各种判断操作。在合适的时候,将相关数据刷新到磁盘当中
模拟MVCC
现在有一个事务10(仅仅为了好区分),对student表中记录进行修改(update):将name(张三)改成name(李四)
- 事务10,因为要修改,所以要先给该记录加行锁
- 修改前,现将行记录拷贝到undo log中,所以,undo log中就有了一行副本数据(原理是写时拷贝)
- 所以现在mysql有两行同样的记录。修改原纪录中的name,改成‘李四’。并且修改原始记录的隐藏字段DB_TRX_ID为当前事务10的id,默认从10开始,之后递增。而原始记录的回滚指针DB_ROLLPTR列,里面写入undo log中副本数据的地址,从而指向副本记录,既表示我的上一个版本就是它
- 事务10提交,释放锁
备注:此时,最新的记录是‘李四’那条记录
现在又有一个事务11,对student表中记录修改(update):将age(28)改成age(38)
- 事务11,因为也要修改,所以要先给该记录加行锁
- 修改前,现将改行记录拷贝到undo log中,所以,undo log中就又有了一行副本数据。此时,新的副本,我们采用头插方式,插入undo log。
- 现在修改原始记录中的age,改成 38。并且修改原始记录的隐藏字DB_TRX_ID 为当前ID。而原始记录的回滚指针事务11的DB_ROLL_PTR 列,里面写入undo log中副本数据的地址,从而指向副本记录,既表示我的上一个版本就是它。
- 事务11提交,释放锁。
这样,就有了一个基于链表记录的历史版本链。所谓的回滚,无非就是用历史数据,覆盖当前数据
上面的一个一个版本,可以称之为一个个的快照
##一些思考
上面是以更新(upadte
)主讲的,如果是delete
呢?一样的,别忘了,删数据不是清空,而是设置flag为删除即可。也可以形成版本。
如果是insert
呢?因为insert
是插入,也就是之前没有数据,那么insert
也就没有历史版本。但是一般为了回滚操作,insert的数据也是要被放入undo log中,如果当前事务commit了,那么这个undo log 的历史insert记录就可以被清空了。
总结一下,也就是我们可以理解成,update
和delete
可以形成版本链,insert
暂时不考虑。
那么select
呢?
首先,select
不会对数据做任何修改,所以,为select
维护多版本,没有意义。不过,此时有个问题,
就是:
select读取,是读取最新的版本呢?还是读取历史版本?
当前读:读取最新的记录,就是当前读。增删改,都叫做当前读,select也有可能当前读,比如:select lock in share mode(共享锁), select for update (这个好理解,我们后面不讨论)
快照读:读取历史版本(一般而言),就叫做快照读。(这个我们后面重点讨论)
我们可以看到,在多个事务同时删改查的时候,都是当前读,是要加锁的。那同时有select过来,如果也要读取最新版(当前读),那么也就需要加锁,这就是串行化。
但如果是快照读,读取历史版本的话,是不受加锁限制的。也就是可以并行执行!换言之,提高了效率,即MVCC的意义所在。
那么,是什么决定了,select是当前读,还是快照读呢?隔离级别!
那为什么要有隔离级别呢?
事务都是原子的。所以,无论如何,事务总有先有后。
但是经过上面的操作我们发现,事务从begin->CURD->commit,是有一个阶段的。也就是事务有执行前,执行中,执行后的阶段。但,不管怎么启动多个事务,总是有先有后的。
那么多个事务在执行中,CURD操作是会交织在一起的。那么,为了保证事务的“有先有后”,是不是应该让不同的事务看到它该看到的内容,这就是所谓的隔离性与隔离级别要解决的问题。
先来的事务,应不应该看到后来的事务所做的修改呢?
那么,如何保证,不同的事务看到不同的内容呢?也就是如何实现隔离级别?
1.每个事务都有自己的事务id,可以根据事务id的大小决定事务到来的先后顺序
2.mysqld可能面临处理多个事物的情况,事务有自己的生命周期,要对多个事务管理,事务的结构
Read View
Read View就是事务进行快照读
操作的时候生成的读视图
(Read View),在该事务执行的快照读的那一刻,会生成数据库系统当前的一个快照,记录并维护系统当前活跃事务的id(当每个事务开启时,都会被分配一个id,这个id是递增的,所以最新的事务,id值越大)
Read View在mysql源码中,就是一个类,本质是用来进行可见性判断的。即当我们某个事物执行快照读的时候,对该记录创建一个Read View读视图,把它必做条件,用来判断当前事务能够看到哪个版本的数据,既可能是当前最新的数据,也有可能是该行记录的undo log里面的某个版本的数据
下面是ReadView 结构,简化一下
class ReadView {
// 省略...
private:
/** 高水位,大于等于这个ID的事务均不可见*/
trx_id_t m_low_limit_id
/** 低水位:小于这个ID的事务均可见 */
trx_id_t m_up_limit_id;
/** 创建该 Read View 的事务ID*/
trx_id_t m_creator_trx_id;
/** 创建视图时的活跃事务id列表*/
ids_t m_ids;
/** 配合purge,标识该视图不需要小于m_low_limit_no的UNDO LOG,
* 如果其他视图也不需要,则可以删除小于m_low_limit_no的UNDO LOG*/
trx_id_t m_low_limit_no;
/** 标记视图是否被关闭*/
bool m_closed;
// 省略...
};
m_ids;
up_limit_id;
low_limit_id;
//一张列表,用来维护Read View生成时刻,系统正活跃的事务ID
//记录m_ids列表中事务ID最小的ID(没有写错)
//ReadView生成时刻系统尚未分配的下一个事务ID,也就是目前已出现过的事务ID的最大值+1(也没有写错)
creator_trx_id //创建该ReadView的事务ID
我们在实际读取数据版本链的时候,是能够读取到每个版本对应的事务id的,即:当前记录的DB_TRX_ID
那么,现在手里有的东西就有,当前快照读的ReadView和版本链中的某一个记录的DB_TRX_ID
所以现在的问题就是,当前快照读,应不应该读到当前版本记录。一张图,解决所有问题
对应源码策略:
如果查到不应该看到当前版本,接下来就是遍历下一个版本,直到符合条件,即可以看到。上面的readview是当进行select时,自动形成
整体流程
假设当前有条记录:
事务操作:
事务4:修改name(张三)变成name(李四)
当事务2对某行数据执行了快照读,数据库就为该行数据生成一个Read View视图
//事务2的 Read View
m_ids; // 1,3
up_limit_id; // 1
low_limit_id; // 4 + 1 = 5,原因:ReadView生成时刻,系统尚未分配的下一个事务ID
creator_trx_id // 2
此时的版本链是:
只有事务4修改过该行记录,并在事务2执行快照读前,就提交了事务
事务2在快照读该行记录的时候,就会拿该行记录的DB_TRX_ID去跟up_limit_id,low_limit_id和活跃事务ID列表(trx_list)比较,判断当前事务2能看到该记录的版本
//事务2的 Read View
m_ids;
// 1,3
up_limit_id;
low_limit_id;
// 1
// 4 + 1 = 5,原因:ReadView生成时刻,系统尚未分配的下一个事务ID
creator_trx_id // 2
//事务4提交的记录对应的事务ID
DB_TRX_ID=4
//比较步骤
DB_TRX_ID(4)< up_limit_id(1) ? 不小于,下一步
DB_TRX_ID(4)>= low_limit_id(5) ? 不大于,下一步
m_ids.contains(DB_TRX_ID) ? 不包含,说明,事务4不在当前的活跃事务中。
//结论
故,事务4的更改,应该看到。
所以事务2能读到的最新数据记录是事务4所提交的版本,而事务4提交的版本也是全局角度上最新的版本
RR和RC的本质区别
当前读和快照读在RR级别下的区别
测试下面的代码
select * from user lock in share mode,以加共享锁方式进行读取,对应的就是当前读。
测试表
–设置RR模式下测试
mysql> set global transaction isolation level REPEATABLE READ;
Query OK, 0 rows affected (0.00 sec)
–重启终端
mysql> select @@tx_isolation;
–依旧用之前的表
create table if not exists account(
id int primary key,
name varchar(50) not null default ‘’,
blance decimal(10,2) not null default 0.0
)ENGINE=InnoDB DEFAULT CHARSET=UTF8;
–插入一条记录,用来测试
mysql> insert into user (id, age, name) values (1, 15,‘黄蓉’);
Query OK, 1 row affected (0.00 sec)
测试用例1-表1
测试用例2-表2
用例1与用例2:唯一却别仅仅是表1的事务B在事务A修改age前快照读过一次age数据
而表2的事务B在事务A修改前没有进行过快照读
结论:
- 事务中快照读的结果非常依赖该事务首次出现快照读的地方,即某个十五中首次出现快照读,决定该事物后续快照读结果的能力
- delete同样如此
RR与RC的本质区别
正式ReadView生成时机的不停,从而造成RC,RR级别下快照读的结果不同
RR级别下某个实物的对某条记录的第一次快照读会创建一个快照及readview,将当前系统活跃的其他事物记录起来
此后在调用快照读时,还是使用同一个ReadView,所以只要当前事务在其他事物提交更新之前使用过快照读,那么之后的快照读使用的都是同一个ReadView,所以对之后的修改不可见
即RR级别下,快照读生成ReadView时,ReadView会记录此时所有其他活动实物的快照,这写事务的修改对于当前事务都是不可见的。而早于ReadView创建的事务所做的修改都是课件的
而在RC级别下,十五中,每次快照读会新生成一个快照和ReadVoew,这就是RC级别下的事务可以看到别的事务提交的更新的原因
总之在RC隔离级别下,每个快照读都会生成并获取最新的ReadView,而在RR下,同一个事物中的第一个快照读才会创建ReadVoew,之后的快照读获取的都是同一个ReadView
正式RC每次快照读,都会生成Readview,所以,RC才会有不可重复读问题
写-写
现阶段,直接理解为当前读
推荐阅读
关于这块,有很好的文章,推荐大家阅读
https://blog.csdn.net/SnailMann/article/details/94724197
https://www.cnblogs.com/f-ck-need-u/archive/2018/05/08/9010872.html
https://blog.csdn.net/chenghan_yang/article/details/97630626