问答文章1 问答文章501 问答文章1001 问答文章1501 问答文章2001 问答文章2501 问答文章3001 问答文章3501 问答文章4001 问答文章4501 问答文章5001 问答文章5501 问答文章6001 问答文章6501 问答文章7001 问答文章7501 问答文章8001 问答文章8501 问答文章9001 问答文章9501

最详细的 MVCC 原理

发布网友 发布时间:2024-09-28 16:12

我来回答

1个回答

热心网友 时间:2024-10-22 07:45

原理

MVCC的实现原理主要依赖于每一行记录中的三个隐藏字段、undolog和readview来实现的。

隐藏字段

DB_TRX_ID:6字节,最近修改事务id,记录创建这条记录或者最后一次修改该记录的事务id

DB_ROLL_PTR:7字节,回滚指针,指向这条记录的上一个版本,用于配合undolog,指向上一个旧版本

DB_ROW_JD:6字节,隐藏的主键,如果数据表没有主键,那么innodb会自动生成一个6字节的row_id

图中DB_ROW_ID是数据库默认为该行记录生成的唯一隐式主键,DB_TRX_ID是当前操作该记录的事务ID,DB_ROLL_PTR是一个回滚指针,用于配合undo日志,指向上一个旧版本

undo log

undolog被称之为回滚日志,表示在进行insert,delete,update操作的时候产生的方便回滚的日志

当进行insert操作的时候(原来没有记录),产生的undolog只在事务回滚的时候需要,并且在事务提交之后可以被立刻丢弃

当进行update和delete操作的时候(原来有记录,修改行数据),产生的undolog不仅仅在事务回滚的时候需要,在快照读的时候也需要,所以不能随便删除,只有在快照读或事务回滚不涉及该日志时,对应的日志才会被purge线程统一清除(当数据发生更新和删除操作的时候都只是设置一下老记录的deleted_bit,并不是真正的将过时的记录删除,因为为了节省磁盘空间,innodb有专门的purge线程来清除deleted_bit为true的记录,如果某个记录的deleted_id为true,并且DB_TRX_ID相对于purge线程的read view 可见,那么这条记录一定时可以被清除的)

下面我们来看一下undolog生成的记录链

1、假设有一个事务编号为1的事务向表中插入一条记录,那么此时行数据的状态为:

2、假设有第二个事务编号为2对该记录的name做出修改,改为lisi

在事务2修改该行记录数据时,数据库会对该行加排他锁

然后把该行数据拷贝到undolog中,作为 旧记录,即在undolog中有当前行的拷贝副本

拷贝完毕后,修改该行name为lisi,并且修改隐藏字段的事务id为当前事务2的id,回滚指针指向拷贝到undolog的副本记录中

事务提交后,释放锁

3、假设有第三个事务编号为3对该记录的age做了修改,改为32

在事务3修改该行数据的时,数据库会对该行加排他锁

然后把该行数据拷贝到undolog中,作为旧纪录,发现该行记录已经有undolog了,那么最新的旧数据作为链表的表头,插在该行记录的undolog最前面

修改该行age为32岁,并且修改隐藏字段的事务id为当前事务3的id,回滚指针指向刚刚拷贝的undolog的副本记录

事务提交,释放锁

![]()

从上述的一系列图中,大家可以发现,不同事务或者相同事务的对同一记录的修改,会导致该记录的undolog生成一条记录版本线性表,即链表,undolog的链首就是最新的旧记录,链尾就是最早的旧记录。

Read View

Read View是事务进行快照读操作的时候生产的读视图,在该事务执行快照读的那一刻,会生成一个数据系统当前的快照,记录并维护系统当前活跃事务的id,事务的id值是递增的。

其实Read View的最大作用是用来做可见性判断的,也就是说当某个事务在执行快照读的时候,对该记录创建一个Read View的视图,把它当作条件去判断当前事务能够看到哪个版本的数据,有可能读取到的是最新的数据,也有可能读取的是当前行记录的undolog中某个版本的数据

Read View遵循的可见性算法 主要是将要被修改的数据的最新记录中的DB_TRX_ID(当前事务id)取出来,与系统当前其他活跃事务的id去对比,如果DB_TRX_ID跟Read View的属性做了比较,不符合可见性,那么就通过DB_ROLL_PTR回滚指针去取出undolog中的DB_TRX_ID做比较,即遍历链表中的DB_TRX_ID,直到找到满足条件的DB_TRX_ID,这个DB_TRX_ID所在的旧记录就是当前事务能看到的最新老版本数据。

Read View的可见性规则如下所示:

首先要知道Read View中的三个全局属性:

trx_list:一个数值列表,用来维护Read View生成时刻系统正活跃的事务ID(1,2,3)

up_limit_id:记录trx_list列表中事务ID最小的ID(1)

low_limit_id:Read View生成时刻系统尚未分配的下一个事务ID,(4)

具体的比较规则如下:

1、首先比较DB_TRX_ID < up_limit_id,如果小于,则当前事务能看到DB_TRX_ID所在的记录,如果大于等于进入下一个判断

2、接下来判断DB_TRX_ID >= low_limit_id,如果大于等于则代表DB_TRX_ID所在的记录在Read View生成后才出现的,那么对于当前事务肯定不可见,如果小于,则进入下一步判断

3、判断DB_TRX_ID是否在活跃事务中,如果在,则代表在Read View生成时刻,这个事务还是活跃状态,还没有commit,修改的数据,当前事务也是看不到,如果不在,则说明这个事务在Read View生成之前就已经开始commit,那么修改的结果是能够看见的。

MVCC整体处理流程

接下来我们根据可见性算法来分类解析MVCC的处理流程

1、无法读取修改但未提交的数据

假设有四个事务同时在执行,如下图所示:

事务1事务2事务3事务4事务开始事务开始事务开始事务开始..................修改但未提交进行中快照读进行中..................

从表中,我们可以看出,当事务2对某行数据执行快照读操作的时候,数据库为该行创建一个Read View视图,事务1、2、3、4均为活跃状态,up_limit_id的值为1,而low_limit_id为5。如下图:

![]()

该行当前数据的undolog如下所示:

![]()

当事务2在快照读该行记录时,会拿着该行记录的DB_TRX_ID去跟up_limit_id,lower_limit_id和活跃事务列表进行比较,判读事务2能看到该行记录的版本是哪个。

具体流程如下:先拿该行记录的事务ID(4)去跟Read View中的up_limit_id相比较,判断是否小于,通过对比发现不小于,所以不符合条件,继续判断4是否大于等于low_limit_id,通过比较发现也不大于,所以不符合条件,判断事务4是否处理trx_list列表中,发现事务4是活跃列表,不符合可见性条件,所以事务4修改未提交的结果对事务2 的快照是不可见的。

2、能读取修改并提交的数据事务1事务2事务3事务4事务开始事务开始事务开始事务开始..................修改且已提交进行中快照读进行中..................

从上述表格中,我们可以看到,当事务2对某行数据执行了快照读,数据库为该行数据生成一个Read View视图,可以看到事务1和事务3还在活跃状态,事务4在事务2快照读的前一刻提交了更新,所以,在Read View中记录了系统当前活跃事务1,2,3,维护在一个列表中。同时可以看到up_limit_id的值为1,而low_limit_id为5,如下图所示:

![]()

在上述的例子中,只有事务4修改过该行记录,并在事务2进行快照读前,就提交了事务,所以该行当前数据的undolog如下所示:

![]()

当事务2在快照读该行记录的是,会拿着该行记录的DB_TRX_ID去跟up_limit_id,lower_limit_id和活跃事务列表进行比较,判读事务2能看到该行记录的版本是哪个。

具体流程如下:先拿该行记录的事务ID(4)去跟Read View中的up_limit_id相比较,判断是否小于,通过对比发现不小于,所以不符合条件,继续判断4是否大于等于low_limit_id,通过比较发现也不大于,所以不符合条件,判断事务4是否处理trx_list列表中,发现不再次列表中,那么符合可见性条件,所以事务4修改后提交的最新结果对事务2 的快照是可见的,因此,事务2读取到的最新数据记录是事务4所提交的版本,而事务4提交的版本也是全局角度的最新版本。

3、修改并提交事务后再快照读事务1事务2事务3事务4事务开始事务开始事务开始事务开始修改并提交..................快照读进行中进行中............

从表中,我们可以看出,当事务2对某行数据执行快照读操作的时候,数据库为该行创建一个Read View视图,事务2、3、4均为活跃状态,up_limit_id的值为2,而low_limit_id为5。如下图:

![]()

此时DB_TRX_ID为1,小于 up_limit_id(2),所以当前事务能看到事务1修改的记录

4、快照读在数据修改之前事务1事务2事务3事务4事务开始事务开始事务开始修改并提交............快照读进行中............事务开始修改未提交

从表中,我们可以看出,当事务2对某行数据执行快照读操作的时候,数据库为该行创建一个Read View视图,事务2、3均为活跃状态,up_limit_id的值为2,而low_limit_id为4。如下图:

![]()

由上面的分析可以知道,事务1对数据的修改对事务2的快照读是可见的,但是事务4对数据的修改,由于此时DB_TRX_ID = low_limit_id,也就是说事务4是在快照读创建之后再修改数据的,所以事务2的快照读无法读取到事务4对该行数据的修改

RC隔离级别

RC隔离级别下,每个快照读都会生成并获取最新的readview。

事务1事务2事务3事务4事务开始事务开始事务开始修改并提交............快照读进行中............事务开始............修改未提交快照读............

由于上面的分析已经很详细了,这边只是简单地分析并给出结果

针对事务2第一次快照读,此时活跃事务为2、3,up_limit_id的值为2,而low_limit_id为4,事务2第一次快照读能读取到事务1的修改不能读到事务4的修改。

事务2第二次快照读能读到事务1的修改,活跃事务为2、3、4,up_limit_id的值为2,low_limit_id为5,但是针对事务4的修改DB_TRX_ID=4<5所以判断是否为活跃事务,是活跃事务,所以不能看到事务4对数据的修改。

事务1事务2事务3事务4事务开始事务开始事务开始修改并提交............快照读进行中............事务开始............修改已提交快照读......

事务2第一次快照读的时候,活跃事务为2和3。up_limit_id的值为2,而low_limit_id为4。事务2第一次快照读能读取到事务1的修改。

事务2第二次快照读的时候,活跃事务依然为2和3,能读到事务1的修改,针对事务4的修改DB_TRX_ID=4<low_limit_id,所以判断是否为活跃事务,不是活跃事务,所以能看到事务4对数据的修改。

RR隔离级别

RR隔离级别就是第一次执行快照读的时候就创建Read View,每次快照读都用这个ReadView。

总结

1、一个数据版本,对于一个事务视图来说,除了自己的更新总是可见意外,有三种情况

版本未提交,不可见;

版本已提交,但是是在视图创建后提交的,不可见;

版本已提交,而且是在视图创建前提交的,可见。

2、因为Read View生成时机的不同,从而造成RC、RR级别下快照读的结果的不同。

1、在RR级别下的某个事务的对某条记录的第一次快照读会创建一个快照即Read View,将当前系统活跃的其他事务记录起来,此后在调用快照读的时候,还是使用的是同一个Read View,所以只要当前事务在其他事务提交更新之前使用过快照读,那么之后的快照读使用的都是同一个Read View,所以对之后的修改不可见

2、在RR级别下,快照读生成Read View时,Read View会记录此时所有其他活动和事务的快照,这些事务的修改对于当前事务都是不可见的,而早于Read View创建的事务所做的修改均是可见

3、在RC级别下,事务中,每次快照读都会新生成一个快照和Read View,这就是我们在RC级别下的事务中可以看到别的事务提交的更新的原因。

总结:在RC隔离级别下,是每个快照读都会生成并获取最新的Read View,而在RR隔离级别下,则是同一个事务中的第一个快照读才会创建Read View,之后的快照读获取的都是同一个Read View.

3、MVCC只存在于RC和RR隔离级别中。其他两个隔离级别不需要用MVCC,因为读未提交直接修改原始数据即可,其他事务查看数据的时候可以立刻看到,根本无需版本字段。串行化本身就是阻塞其他事务的读取操作,而MVCC是读取的时候无锁优化,所以不能用在串行化隔离级别中。

参考文献

《凤凰架构》

《深入理解分布式事务》

原文:https://juejin.cn/post/7102676257149550622

声明声明:本网页内容为用户发布,旨在传播知识,不代表本网认同其观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。E-MAIL:11247931@qq.com
现在思科的CCNA,CCNE,CCIP的考证费分别是多少啊,通过率怎样 长春小飞没有车没有房 碳钢的多久生锈 碳钢多久会生锈 碳钢多长时间会开始生锈 碳钢和铝哪个容易生锈 梦见天宫图是什么意思 光遇2023好友树解锁图鉴 光遇二级节点多少个 ...火柴小女孩》《词语手册》里有很多词语的意思的,求告知 暖融融解释 MySQL InnoDB 秒级快照原理与当前读 有没有反映中国远古生活的电视剧或者电影啊~就是夏商或者之前的拜托各位... ...电影,主角是一个青年和他祖父的女儿一起生活的故事,那个女儿是个... 求几部关于丛林战争的电影?拜托各位大神 关于明清史的电视,电影 拜托了~帮帮忙! 华为H60-L11 可以插扩展卡吗 每日一画|《麦田与柏树》1889文森特·梵高赏析 西安万达红叶电影城本周有什么影片?拜托了各位 谢谢 电影《刀走偏锋》的拍摄城市是哪里?拜托各位了 3Q 金黄色的庄稼和柏树作品欣赏 ppt2010怎么设置播放视频 苹果6关机了怎么开? 为什么电视收不到wifi信号? 电视机搜不到无线信号怎么办? 创意厨房空间装修,让你爱上烹饪 家里才买一台海信智能电视,内置WIFI为什么搜不到自家WIFI信号 which +n to do sth有这样的语法吗?如果有,那它的意思是什么 电视上搜不到自己家的wifi信号了 电视机搜不到自己家wifi 电视机连接WiFi搜不到怎么办 100块地砖够用吗?130呢?130块够用吗 ...米,用边长0.9米的正方形辞瓷砖铺地,110块够吗? 一文带你搞懂bin log、redo log和undo log,一文搞懂MySQL三大日志!_百 ... 缝纫机什么梗 ...85平方米用边长0.9米的正方形瓷砖铺地,100块够吗?怎么计算 小米4的MIUI7稳定版什么时候出?知道的说下 小米4什么时候更新MIUI7系统稳定版 盘活资金是指什么? 红牛皮菜保健食谱 比较著名和经典的电影 嘉佳卡通2011年10月4日7点放的是什么动漫百度知道 在百度贴吧里如何知道别人对自己的留言进行了回复 怎么在百度贴吧里搜索别人发过的帖子或回答呢? 在贴吧里发贴后怎么才能看到别人的回复 我在百度贴吧里如何能看别人给我留的言 凤凰电竞app安卓游戏官方下载 Smelly cat概述 2018上海哪些酒吧可以看世界杯 上海可以看世界杯的酒吧有哪些 泰拉瑞亚NPC怎么入住 怎么在泰拉瑞亚中坐下