https://zhouxx.blog.csdn.net/article/details/140940976
科普文:微服务之Spring Cloud Alibaba分布式事务组件Seata设计方案-CSDN博客
一、概述
Seata
是一款开源的分布式事务解决方案,致力于提供高性能和简单易用的分布式事务服务。Seata
提供了AT
、TCC
、SAGA
和XA
事务模式,为用户打造一站式的分布式解决方案。
- 官网
- Seata概述
- 下载中心
- 示例
1.1 简介
在Seata
开源之前,Seata
对应的内部版本在阿里经济体内部一直扮演着分布式一致性中间件的角色,帮助经济体平稳的度过历年的双11,对各BU业务进行了有力的支撑。商业化产品GTS先后在阿里云、金融云进行售卖。
1.2 三大模块
Seata
分三大模块:
TC
:事务协调者。负责我们的事务ID
的生成,事务注册、提交、回滚等。TM
:事务发起者。定义事务的边界,负责告知TC
,分布式事务的开始,提交,回滚。RM
:资源管理者。管理每个分支事务的资源,每一个RM
都会作为一个分支事务注册在TC
。
在Seata
的AT
模式中,TM
和RM
都作为SDK
的一部分和业务服务在一起,我们可以认为是Client
。TC
是一个独立的服务,通过服务的注册、发现将自己暴露给Client
们。
Seata
中有三大模块中,TM
和RM
是作为Seata
的客户端与业务系统集成在一起,TC
作为Seata
的服务端独立部署。
1.3 执行流程
在Seata
中,分布式事务的执行流程:
TM
开启分布式事务(TM
向TC
注册全局事务记录);- 按业务场景,编排数据库、服务等事务内资源(
RM
向TC
汇报资源准备状态); TM
结束分布式事务,事务一阶段结束(TM
通知TC
提交/回滚分布式事务);TC
汇总事务信息,决定分布式事务是提交还是回滚;TC
通知所有RM
提交/回滚资源,事务二阶段结束;
Seata
的TC
、TM
、RM
三个角色,是不是和XA
模型很像。下图是XA
模型的事务大致流程:
在X/Open
DTP
(Distributed Transaction Process
)模型里面,有三个角色:
AP
:Application
,应用程序。也就是业务层。哪些操作属于一个事务,就是AP
定义的。TM
:Transaction Manager
,事务管理器。接收AP
的事务请求,对全局事务进行管理,管理事务分支状态,协调RM
的处理,通知RM
哪些操作属于哪些全局事务以及事务分支等等。这个也是整个事务调度模型的核心部分。RM
:Resource Manager
,资源管理器。一般是数据库,也可以是其他的资源管理器,如消息队列(如JMS
数据源),文件系统等。
1.4 分布式事务解决方案
Seata
有4
种分布式事务解决方案,分别是AT
模式、TCC
模式、Saga
模式和XA
模式。
二、AT模式
AT
模式是最早支持的模式。AT
模式是指Automatic (Branch) Transaction Mode自动化分支事务。AT
模式是增强型二阶段提交(2pc
)模式,或者说是增强型的XA
模型。总体来说,AT
模式,是2pc
两阶段提交协议的演变,不同的地方,AT
模式不会一直锁表。
2.1 AT模式的使用前提
- 基于支持本地
ACID
事务的关系型数据库。比如,在
MySQL 5.1
之前的版本中,默认的搜索引擎是MyISAM
,从MySQL 5.5
之后的版本中,默认的搜索引擎变更为InnoDB
。MyISAM
存储引擎的特点是:表级锁、不支持事务和全文索引。所以,基于MyISAM
的表,就不支持AT
模式。 Java
应用,通过JDBC
访问数据库。
2.2 AT模型图
两阶段提交协议的演变:
- 一阶段:业务数据和回滚日志记录在同一个本地事务中提交,释放本地锁和连接资源。
- 二阶段:
- 提交异步化,非常快速地完成。
- 或回滚通过一阶段的回滚日志进行反向补偿
完整的AT
在Seata
所制定的事务模式下的模型图:
2.3 AT模式的例子
我们用一个比较简单的业务场景来描述一下AT
模式的工作过程。有个充值业务,现在有两个服务,一个负责管理用户的余额,另外一个负责管理用户的积分。
当用户充值的时候,首先增加用户账户上的余额,然后增加用户的积分。
AT
模式分为两阶段,主要逻辑全部在第一阶段,第二阶段主要做回滚或日志清理的工作。
2.3.1 第一阶段流程
第一阶段流程如
- 余额服务中的
TM
,向TC
申请开启一个全局事务,TC
会返回一个全局的事务ID
。 - 余额服务在执行本地业务之前,
RM
会先向TC
注册分支事务。 - 余额服务依次生成
undo log
、执行本地事务、生成redo log
,最后直接提交本地事务。 - 余额服务的
RM
向TC
汇报,事务状态是成功的。 - 余额服务发起远程调用,把事务
ID
传给积分服务。 - 积分服务在执行本地业务之前,也会先向
TC
注册分支事务。 - 积分服务次生成
undo log
、执行本地事务、生成redo log
,最后直接提交本地事务。 - 积分服务的
RM
向TC
汇报,事务状态是成功的。 - 积分服务返回远程调用成功给余额服务。
- 余额服务的
TM
向TC
申请全局事务的提交/回滚。
积分服务中也有
TM
,但是由于没有用到,因此直接可以忽略。
如果使用Spring
框架的注解式事务,远程调用会在本地事务提交之前发生。但是,先发起远程调用还是先提交本地事务,这个其实没有任何影响。
2.3.2 第二阶段流程
第二阶段的逻辑就比较简单了。
Client
和TC
之间是有长连接的,如果是正常全局提交,则TC
通知多个RM
异步清理掉本地的redo
和undo log
即可。如果是回滚,则TC
通知每个RM
回滚数据即可。这里就会引出一个问题,由于本地事务都是自己直接提交了,后面如何回滚,由于我们在操作本地业务操作的前后,做记录了undo
和redo log
,因此可以通过undo log
进行回滚。由于undo
和redo log
和业务操作在同一个事务中,因此肯定会同时成功或同时失败。但是还会存在一个问题,因为每个事务从本地提交到通知回滚这段时间里,可能这条数据已经被别的事务修改,如果直接用undo log
回滚,会导致数据不一致的情况。此时,RM
会用redo log
进行校验,对比数据是否一样,从而得知数据是否有别的事务修改过。注意:undo log
是被修改前的数据,可以用于回滚;redo log
是被修改后的数据,用于回滚校验。如果数据未被其他事务修改过,则可以直接回滚;如果是脏数据,再根据不同策略处理。
2.4 AT模式在电商下单场景的使用
下面描述AT
模式的工作原理使用的电商下单场景的使用。如下图所示:
在上图中,协调者shopping-service
先调用参与者repo-service
扣减库存,后调用参与者order-service
生成订单。这个业务流使用Seata in XA mode
后的全局事务流程如下图所示:
上图描述的全局事务执行流程为:
shopping-service
向Seata
注册全局事务,并产生一个全局事务标识XID
;- 将
repo-service.repo_db
、order-service.order_db
的本地事务执行到待提交阶段,事务内容包含对repo-service.repo_db
、order-service.order_db
进行的查询操作以及写每个库的undo_log
记录; repo-service.repo_db
、order-service.order_db
向Seata
注册分支事务,并将其纳入该XID
对应的全局事务范围;- 提交
repo-service.repo_db
、order-service.order_db
的本地事务; repo-service.repo_db
、order-service.order_db
向Seata
汇报分支事务的提交状态;Seata
汇总所有的DB
的分支事务的提交状态,决定全局事务是该提交还是回滚;Seata
通知repo-service.repo_db
、order-service.order_db
提交/回滚本地事务,若需要回滚,采取的是补偿式方法。
其中1至5属于第一阶段,6、7属于第二阶段。
2.4.1 电商业务场景中Seata in AT mode工作流程详述
在上面的电商业务场景中,购物服务调用库存服务扣减库存,调用订单服务创建订单,显然这两个调用过程要放在一个事务里面。即:
start global_trx
call 库存服务的扣减库存接口
call 订单服务的创建订单接口
commit global_trx
在库存服务的数据库中,存在如下的库存表t_repo
:
在订单服务的数据库中,存在如下的订单表t_order
:
现在,id
为40002
的用户要购买一只商品代码为20002
的鼠标,整个分布式事务的内容为:
- 在库存服务的库存表中将记录
修改为
- 在订单服务的订单表中添加一条记录
以上操作,在AT
模式的第一阶段的流程图如下:
从AT
模式第一阶段的流程来看,分支的本地事务在第一阶段提交完成之后,就会释放掉本地事务锁定的本地记录。这是AT
模式和XA
最大的不同点,在XA
事务的两阶段提交中,被锁定的记录直到第二阶段结束才会被释放。所以AT
模式减少了锁记录的时间,从而提高了分布式事务的处理效率。AT
模式之所以能够实现第一阶段完成就释放被锁定的记录,是因为Seata
在每个服务的数据库中维护了一张undo_log
表,其中记录了对t_order/t_repo
进行操作前后记录的镜像数据,即便第二阶段发生异常,只需回放每个服务的undo_log
中的相应记录即可实现全局回滚。
undo_log
的表结构:
第一阶段结束之后,Seata
会接收到所有分支事务的提交状态,然后决定是提交全局事务还是回滚全局事务。
- 若所有分支事务本地提交均成功,则
Seata
决定全局提交。
Seata
将分支提交的消息发送给各个分支事务,各个分支事务收到分支提交消息后,会将消息放入一个缓冲队列,然后直接向Seata
返回提交成功。之后,每个本地事务会慢慢处理分支提交消息,处理的方式为:删除相应分支事务的undo_log
记录。之所以只需删除分支事务的undo_log
记录,而不需要再做其他提交操作,是因为提交操作已经在第一阶段完成了(这也是AT
和XA
不同的地方)。这个过程如下图所示:
分支事务之所以能够直接返回成功给Seata
,是因为真正关键的提交操作在第一阶段已经完成了,清除undo_log
日志只是收尾工作,即便清除失败了,也对整个分布式事务不产生实质影响。
- 若任一分支事务本地提交失败,则
Seata
决定全局回滚,将分支事务回滚消息发送给各个分支事务,由于在第一阶段各个服务的数据库上记录了undo_log
记录,分支事务回滚操作只需根据undo_log
记录进行补偿即可。全局事务的回滚流程如下图所示:
这里对图中的2、3步做进一步的说明:
- 由于上文给出了
undo_log
的表结构,所以可以通过xid
和branch_id
来找到当前分支事务的所有undo_log
记录; - 拿到当前分支事务的
undo_log
记录之后,首先要做数据校验,如果afterImage
中的记录与当前的表记录不一致,说明从第一阶段完成到此刻期间,有别的事务修改了这些记录,这会导致分支事务无法回滚,向Seata
反馈回滚失败;如果afterImage
中的记录与当前的表记录一致,说明从第一阶段完成到此刻期间,没有别的事务修改这些记录,分支事务可回滚,进而根据beforeImage
和afterImage
计算出补偿SQL
,执行补偿SQL
进行回滚,然后删除相应undo_log
,向Seata
反馈回滚成功。
2.5 数据隔离性
Seata
的AT
模式主要实现逻辑是数据源代理,而数据源代理将基于如MySQL
和Oracle
等关系事务型数据库实现,基于数据库的隔离级别为read committed
。换而言之,本地事务的支持是Seata
实现AT
模式的必要条件,这也将限制Seata
的AT
模式的使用场景。
2.5.1 写隔离
从前面的工作流程,我们可以很容易知道,Seata
的写隔离级别是全局独占的。
首先,我们理解一下写隔离的流程
分支事务1-开始
|
V 获取 本地锁
|
V 获取 全局锁 分支事务2-开始
| |
V 释放 本地锁 V 获取 本地锁
| |
V 释放 全局锁 V 获取 全局锁
|
V 释放 本地锁
|
V 释放 全局锁
如上所示,一个分布式事务的锁获取流程是这样的
- 先获取到本地锁,这样你已经可以修改本地数据了,只是还不能本地事务提交;
- 而后,能否提交就是看能否获得全局锁;
- 获得了全局锁,意味着可以修改了,那么提交本地事务,释放本地锁;
- 当分布式事务提交,释放全局锁。这样就可以让其它事务获取全局锁,并提交它们对本地数据的修改了。
可以看到,这里有两个关键点
- 本地锁获取之前,不会去争抢全局锁;
- 全局锁获取之前,不会提交本地锁。
这就意味着,数据的修改将被互斥开来。也就不会造成写入脏数据。全局锁可以让分布式修改中的写数据隔离。
写隔离的原则:
- 一阶段本地事务提交前,需要确保先拿到全局锁。
- 拿不到全局锁,不能提交本地事务。
- 拿全局锁的尝试被限制在一定范围内,超出范围将放弃,并回滚本地事务,释放本地锁。
以一个示例来说明:
两个全局事务
tx1
和tx2
,分别对a
表的m
字段进行更新操作,m
的初始值1000
。
tx1
先开始,开启本地事务,拿到本地锁,更新操作m = 1000 - 100 = 900
。本地事务提交前,先拿到该记录的全局锁,本地提交释放本地锁。tx2
后开始,开启本地事务,拿到本地锁,更新操作m = 900 - 100 = 800
。本地事务提交前,尝试拿该记录的全局锁,tx1
全局提交前,该记录的全局锁被tx1
持有,tx2
需要重试等待全局锁。
tx1
二阶段全局提交,释放全局锁。tx2
拿到全局锁提交本地事务。如果tx1
的二阶段全局回滚,则tx1
需要重新获取该数据的本地锁,进行反向补偿的更新操作,实现分支的回滚。
此时,如果tx2
仍在等待该数据的全局锁,同时持有本地锁,则tx1
的分支回滚会失败。分支的回滚会一直重试,直到tx2
的全局锁等锁超时,放弃全局锁并回滚本地事务释放本地锁,tx1
的分支回滚最终成功。因为整个过程全局锁在tx1
结束前一直是被tx1
持有的,所以不会发生脏写的问题。
2.5.2 读的隔离级别
在数据库本地事务隔离级别读已提交(Read Committed
)或以上的基础上,Seata
(AT
模式)的默认全局隔离级别是读未提交(Read Uncommitted
)。
如果应用在特定场景下,必需要求全局的读已提交,目前Seata
的方式是通过SELECT FOR UPDATE
语句的代理。
SELECT FOR UPDATE
语句的执行会申请全局锁,如果全局锁被其他事务持有,则释放本地锁(回滚SELECT FOR UPDATE
语句的本地执行)并重试。这个过程中,查询是被block
住的,直到全局锁拿到,即读取的相关数据是已提交的,才返回。
出于总体性能上的考虑,Seata
目前的方案并没有对所有SELECT
语句都进行代理,仅针对FOR UPDATE
的SELECT
语句。
2.6 Spring Cloud集成AT模式
AT
模式是指Automatic (Branch) Transaction Mode自动化分支事务,使用AT模式的前提是
- 基于支持本地
ACID
事务的关系型数据库。 Java
应用,通过JDBC
访问数据库。
seata-at的使用步骤
- 引入
seata
框架,配置好seata
基本配置,建立undo_log
表; - 消费者引入全局事务注解
@GlobalTransactional
; - 生产者引入全局事务注解
@GlobalTransactional
。
三、TCC模式
3.1 简介
TCC
与AT
事务一样都是两阶段事务,它与AT
事务的主要区别为:
-
TCC对业务代码侵入严重
每个阶段的数据操作都要自己进行编码来实现,事务框架无法自动处理。
-
TCC性能更高
不必对数据加全局锁,允许多个事务同时操作数据。
TCC
整体是两阶段提交的模型。一个分布式的全局事务,全局事务是由若干分支事务组成的,分支事务要满足两阶段提交的模型要求,即需要每个分支事务都具备自己的:
- 一阶段
prepare
行为 - 二阶段
commit
或rollback
行为
根据两阶段行为模式的不同,我们将分支事务划分为Automatic (Branch) Transaction Mode和TCC (Branch) Transaction Mode。
AT
模式(参考链接TBD)基于支持本地ACID
事务的关系型数据库:
- 一阶段
prepare
行为:在本地事务中,一并提交业务数据更新和相应回滚日志记录。 - 二阶段
commit
行为:马上成功结束,自动异步批量清理回滚日志。 - 二阶段
rollback
行为:通过回滚日志,自动生成补偿操作,完成数据回滚。
相应的,TCC
模式,不依赖于底层数据资源的事务支持:
- 一阶段
prepare
行为:调用自定义的prepare
逻辑。 - 二阶段
commit
行为:调用自定义的commit
逻辑。 - 二阶段
rollback
行为:调用自定义的rollback
逻辑。
所谓TCC
模式,是指支持把自定义的分支事务纳入到全局事务的管理中。
第一阶段Try
以账户服务为例,当下订单时要扣减用户账户金额:
假如用户购买100
元商品,要扣减100
元。
TCC
事务首先对这100
元的扣减金额进行预留,或者说是先冻结这100
元:
第二阶段Confirm
如果第一阶段能够顺利完成,那么说明“扣减金额”业务(分支事务)最终肯定是可以成功的。当全局事务提交时,TC
会控制当前分支事务进行提交,如果提交失败,TC
会反复尝试,直到提交成功为止。
当全局事务提交时,就可以使用冻结的金额来最终实现业务数据操作:
第二阶段Cancel
如果全局事务回滚,就把冻结的金额进行解冻,恢复到以前的状态,TC
会控制当前分支事务回滚,如果回滚失败,TC
会反复尝试,直到回滚完成为止。
多个事务并发的情况
多个TCC
全局事务允许并发,它们执行扣减金额时,只需要冻结各自的金额即可:
四、Saga模式
Saga
模式是Seata
提供的长事务解决方案,在Saga
模式中,业务流程中每个参与者都提交本地事务,当出现某一个参与者失败则补偿前面已经成功的参与者,一阶段正向服务和二阶段补偿服务都由业务开发实现。
理论基础:Hector & Kenneth
发表论⽂Sagas
(1987)
4.1 适用场景
- 业务流程长、业务流程多
- 参与者包含其它公司或遗留系统服务,无法提供
TCC
模式要求的三个接口
4.2 优势
- 一阶段提交本地事务,无锁,高性能
- 事件驱动架构,参与者可异步执行,高吞吐
- 补偿服务易于实现
4.3 缺点
- 不保证隔离性(应对方案见后面文档)
4.4 Saga的实现
4.4.1 基于状态机引擎的Saga实现
目前Seata
提供的Saga
模式是基于状态机引擎来实现的,机制是:
- 通过状态图来定义服务调用的流程并生成
json
状态语言定义文件 - 状态图中一个节点可以是调用一个服务,节点可以配置它的补偿节点
- 状态图
json
由状态机引擎驱动执行,当出现异常时状态引擎反向执行已成功节点对应的补偿节点将事务回滚
注意:异常发生时是否进行补偿也可由用户自定义决定
- 可以实现服务编排需求,支持单项选择、并发、子流程、参数转换、参数映射、服务执行状态判断、异常捕获等功能
示例状态图:
五、XA模式
5.1 使用XA模式的前提
- 支持
XA
事务的数据库。 Java
应用,通过JDBC
访问数据库。
5.2 XA模式的整体机制
在Seata
定义的分布式事务框架内,利用事务资源(数据库、消息服务等)对XA
协议的支持,以XA
协议的机制来管理分支事务的一种事务模式。
注意这里的重点:利用事务资源对
XA
协议的支持,以XA
协议的机制来管理分支事务。
5.3 XA模式的工作机制
5.3.1 整体运行机制
XA
模式运行在Seata
定义的事务框架内:
5.3.2 数据源代理
XA
模式需要获取XAConnection
,获取XAConnection
两种方式:
- 方式一:要求开发者配置
XADataSource
; - 方式二:根据开发者的普通
DataSource
来创建。
第一种方式,给开发者增加了认知负担,需要为XA
模式专门去学习和使用XA
数据源,与透明化XA
编程模型的设计目标相违背。
第二种方式,对开发者比较友好,和AT
模式使用一样,开发者完全不必关心XA
层面的任何问题,保持本地编程模型即可。
我们优先设计实现第二种方式:数据源代理根据普通数据源中获取的普通JDBC
连接创建出相应的XAConnection
。
类比AT
模式的数据源代理机制,如下:
实际上,这种方法是在做数据库驱动程序要做的事情。不同的厂商、不同版本的数据库驱动实现机制是厂商私有的,我们只能保证在充分测试过的驱动程序上是正确的,开发者使用的驱动程序版本差异很可能造成机制的失效。这点在Oracle
上体现非常明显。参见Druid issue
:https://github.com/alibaba/druid/issues/3707
综合考虑,XA
模式的数据源代理设计需要同时支持第一种方式:基于XA
数据源进行代理。类比AT
模式的数据源代理机制,如下:
XA start
需要Xid
参数。这个Xid
需要和Seata
全局事务的XID
和BranchId
关联起来,以便由TC
驱动XA
分支的提交或回滚。目前Seata
的BranchId
是在分支注册过程,由TC
统一生成的,所以XA
模式分支注册的时机需要在XA start
之前。将来一个可能的优化方向:把分支注册尽量延后。类似AT
模式在本地事务提交之前才注册分支,避免分支执行失败情况下,没有意义的分支注册。这个优化方向需要BranchId
生成机制的变化来配合。BranchId
不通过分支注册过程生成,而是生成后再带着BranchId
去注册分支。
5.4 XA模式的使用
从编程模型上,XA
模式与AT
模式保持完全一致。可以参考Seata
官网的样例:seata-xa。样例场景是Seata
经典的,涉及库存、订单、账户3个微服务的商品订购业务。在样例中,上层编程模型与AT
模式完全相同。只需要修改数据源代理,即可实现XA
模式与AT
模式之间的切换。
@Bean("dataSource")
public DataSource dataSource(DruidDataSource druidDataSource) {
// DataSourceProxy for AT mode
// return new DataSourceProxy(druidDataSource);
// DataSourceProxyXA for XA mode
return new DataSourceProxyXA(druidDataSource);
}
六、模式选择
Seata
的AT
模式和TCC
模式是在生产中最常用。
- 强一致性模型,
AT
强一致方案模式主要用于核心模块,例如交易/订单等。 - 弱一致性模型,
TCC
弱一致方案一般用于边缘模块例如库存,通过TC
的协调,保证最终一致性,也可以业务解耦。
关于如何解决分布式事务问题的,可以分场景:
6.1 强一致性场景
对于那些特别严格的场景,用的是AT
模式来保证强一致性;
例子:严格要求数据绝对不能错的场景(如电商交易交易中的库存和订单、优惠券),可以使用成熟的如中间件AT
模式。
AT
模式,保障强一致性,支持跨多个库修改数据;
- 订单库:增加订单
- 商品库:扣减库存
- 优惠券库:预扣优惠券
6.2 弱一致性场景
对于数据一致性要求没有那些特别严格、或者由不同系统执行子事务的场景,可以使用TCC
保障弱一致性方案。
准备好例子:严格对数据一致性要求、或者由不同系统执行子事务的场景,如电商订单支付服务,更新订单状态,发送成功支付成功消息,只需要保障弱一致性即可。
TCC
模式,保障弱一致性,支持跨多个服务和系统修改数据,在上面的场景中,使用TCC
模式事务。
- 订单服务:修改订单状态
- 通知服务:发送支付状态
6.3 最终一致性场景
基于可靠消息的最终一致性,各个子事务可以较长时间内异步,但数据绝对不能丢的场景。可以使用异步确保型事务事。可以使用基于MQ
的异步确保型事务,比如电商平台的通知支付结果:
- 积分服务:增加积分
- 会计服务:生成会计记录