目录
一、分布式事务问题
1. 本地事务
2. 分布式事务
3. 演示分布式事务问题
二、理论基础
1. CAP定理
1.1 ⼀致性
1.2 可⽤性
1.3 分区容错
1.4 ⽭盾
2. BASE理论
3. 解决分布式事务的思路
三、初识Seata
1. Seata的架构
2. 部署TC服务
3. 微服务集成Seata
3.1 引⼊依赖
3.2 配置TC地址
3. 其它服务
4. 动⼿实践
4.1 XA模式
4.1.1 两阶段提交
4.1.2 Seata的XA模型
4.1.3 优缺点
4.1.4 实现XA模式
4.2 AT模式
4.2.1 Seata的AT模型
4.2.2 AT与XA的区别
4.2.3 脏写问题
4.2.4.优缺点
4.2.5.实现AT模式
一、分布式事务问题
1. 本地事务
本地事务,也就是传统的单机事务,在传统数据库事务中,必须要满⾜四个原则:
2. 分布式事务
分布式事务,就是指不是在单个服务或单个数据库架构下,产⽣的事务,例如:
- 跨数据源的分布式事务
- 跨服务的分布式事务
- 综合情况
在数据库⽔平拆分、服务垂直拆分之后,⼀个业务操作通常要跨多个数据库、服务才能完成。例如电商⾏业中⽐较常⻅的下单付款案例,包括下⾯⼏个⾏为:
- 创建新订单
- 扣减商品库存
- 从⽤户账户余额扣除⾦额
订单的创建、库存的扣减、账户扣款在每⼀个服务和数据库内是⼀个本地事务,可以保证ACID原则。但是当我们把三件事情看做⼀个"业务",要满⾜保证“业务”的原⼦性,要么所有操作全部成功,要么全部失败,不允许出现部分成功部分失败的现象,这就是分布式系统下的事务了。此时ACID难以满⾜,这是分布式事务要解决的问题
3. 演示分布式事务问题
实现下单减库存
基于之前的代码改写
order
controller
@RestController public class OrderController { @Autowired private IProductService productService; @Autowired private IOrderService orderService; @RequestMapping("/order/prod/{pid}") public Order order(@PathVariable("pid") Integer pid) { Order order = orderService.createOrder(pid); return order; } }
service
public interface IOrderService extends IService<Order> { //创建订单 Order createOrder(int pid); }
@FeignClient("service-product")//声明调用的提供者的name public interface IProductService { //指定调用提供者的哪个方法 // @FeignClient+@GetMapping 就是一个完整的请求路径 http://service-product/product/{pid} @GetMapping(value = "/product/{pid}") Product findByPid(@PathVariable("pid") Integer pid); //减库存 @RequestMapping("/product/reduceInventory") void reduceInventory(@RequestParam("pid") Integer pid, @RequestParam("num") int num); }
@Service public class OrderServiceImpl extends ServiceImpl<OrderMapper,Order> implements IOrderService { @Autowired private OrderMapper orderMapper; @Autowired private IProductService productService; @Override @Transactional public Order createOrder(int pid) { //1.通过fegin调用商品微服务-查询商品信息 Product product = productService.findByPid(pid); //2.下单(创建订单) Order order = new Order(); order.setUid(1); order.setUsername("测试用户"); order.setPid(pid); order.setPname(product.getPname()); order.setPprice(product.getPprice()); order.setNumber(1);//设置购买数量 orderMapper.insert(order); //3.通过fegin调用商品微服务-扣库存 productService.reduceInventory(pid, order.getNumber()); return order; } }
product
controller
@RestController public class ProductController { @Autowired private IProductService productService; //商品信息查询 @RequestMapping("/product/{pid}") public Product product(@PathVariable("pid") Integer pid) { Product product = productService.getById(pid); return product; } //减少库存 @RequestMapping("/product/reduceInventory") public void reduceInventory(@RequestParam("pid") Integer pid,@RequestParam("num") int num) { productService.reduceInventory(pid, num); } }
service
public interface IProductService extends IService<Product> { //扣库存 public void reduceInventory(Integer pid, int num) ; }
@Service public class ProductServiceImpl extends ServiceImpl<ProductMapper, Product> implements IProductService { @Autowired private ProductMapper productMapper; @Override public void reduceInventory(Integer pid, int num) { Product product = productMapper.selectById(pid); product.setStock(product.getStock() - num); //减库存 productMapper.updateById(product); //模拟异常,发现分布式事务管理不行 int a = 10/0; } }
模拟异常
初始有7个
运行报错
订单不变
没有回滚
二、理论基础
解决分布式事务问题,需要⼀些分布式系统的基础知识作为理论指导。
1. CAP定理
1998年,加州⼤学的计算机科学家 Eric Brewer 提出,分布式系统有三个指标
- Consistency(⼀致性)
- Availability(可⽤性)
- Partition tolerance (分区容错性)
1.1 ⼀致性
Consistency(⼀致性):⽤户访问分布式系统中的任意节点,得到的数据必须⼀致。⽐如现在包含两个节点,其中的初始数据是⼀致的: 当我们修改其中⼀个节点的数据时,两者的数据产⽣了差异: 要想保住⼀致性,就必须实现node01 到 node02的数据同步:
1.2 可⽤性
Availability (可⽤性):⽤户访问集群中的任意健康节点,必须能得到响应,⽽不是超时或拒绝 。如图,有三个节点的集群,访问任何⼀个都可以及时得到响应:当有部分节点因为⽹络故障或其它原因⽆法访问时,代表节点不可⽤:
1.3 分区容错
Partition(分区):因为⽹络故障或其它原因导致分布式系统中的部分节点与其它节点失去连接,形成独⽴分区。Tolerance(容错):在集群出现分区时,整个系统也要持续对外提供服务
1.4 ⽭盾
在分布式系统中,系统间的⽹络不能100%保证健康,⼀定会有故障的时候,⽽服务有必须对外保证服务。因此Partition Tolerance不可避免。当节点接收到新的数据变更时,就会出现问题了:如果此时要保证⼀致性,就必须等待⽹络恢复,完成数据同步后,整个集群才对外提供服务,服务处于阻塞状态,不可⽤。如果此时要保证可⽤性,就不能等待⽹络恢复,那node01、node02与node03之间就会出现数据不⼀致。也就是说,在P⼀定会出现的情况下,A和C之间只能实现⼀个。
2. BASE理论
BASE理论是对CAP的⼀种解决思路,包含三个思想:
- Basically Available (基本可⽤):分布式系统在出现故障时,允许损失部分可⽤性,即保证核⼼可⽤。
- Soft State(软状态):在⼀定时间内,允许出现中间状态,⽐如临时的不⼀致状态。
- Eventually Consistent(最终⼀致性):虽然⽆法保证强⼀致性,但是在软状态结束后,最终达到数据⼀致。
3. 解决分布式事务的思路
分布式事务最⼤的问题是各个⼦事务的⼀致性问题,因此可以借鉴CAP定理和BASE理论,有两种解决思路:
- AP模式:各⼦事务分别执⾏和提交,允许出现结果不⼀致,然后采⽤弥补措施恢复数据即可,实现最终⼀致。
- CP模式:各个⼦事务执⾏后互相等待,同时提交,同时回滚,达成强⼀致。但事务等待过程中,处于弱可⽤状态。
但不管是哪⼀种模式,都需要在⼦系统事务之间互相通讯,协调事务状态,也就是需要⼀个事务协调者 (TC):这⾥的⼦系统事务,称为分⽀事务;有关联的各个分⽀事务在⼀起称为全局事务。
三、初识Seata
Seata是 2019 年 1 ⽉份蚂蚁⾦服和阿⾥巴巴共同开源的分布式事务解决⽅案。致⼒于提供⾼性能和简单易⽤的分布式事务服务,为⽤户打造⼀站式的分布式解决⽅案。官⽹地址:http://seata.io/,其中的⽂档、播客中提供了⼤量的使⽤说明、源码分析
1. Seata的架构
Seata事务管理中有三个重要的⻆⾊:TC (Transaction Coordinator) - 事务协调者:维护全局和分⽀事务的状态,协调全局事务提交或回滚。TM (Transaction Manager) - 事务管理器:定义全局事务的范围、开始全局事务、提交或回滚全局事务。RM (Resource Manager) - 资源管理器:管理分⽀事务处理的资源,与TC交谈以注册分⽀事务和报告分⽀事务的状态,并驱动分⽀事务提交或回滚。整体的架构如图:Seata基于上述架构提供了四种不同的分布式事务解决⽅案:
- ● XA模式:强⼀致性分阶段事务模式,牺牲了⼀定的可⽤性,⽆业务侵⼊
- ● TCC模式:最终⼀致的分阶段事务模式,有业务侵⼊
- ● AT模式:最终⼀致的分阶段事务模式,⽆业务侵⼊,也是Seata的默认模式
- ● SAGA模式:⻓事务模式,有业务侵⼊
⽆论哪种⽅案,都离不开TC,也就是事务的协调者。
2. 部署TC服务
1.⾸先我们要下载seata-server包,地址在 http://seata.io/zh-cn/blog/download.html2.解压3.修改配置: conf⽬录下的registry.conf⽂件registry { # tc服务的注册中⼼类,这⾥选择nacos,也可以是eureka、zookeeper等 type = "nacos" nacos { # seata tc 服务注册到 nacos的服务名称,可以⾃定义 application = "seata-tc-server" serverAddr = "127.0.0.1:8848" group = "DEFAULT_GROUP" namespace = "" cluster = "SH" username = "nacos" password = "nacos" } } config { # 读取tc服务端的配置⽂件的⽅式,这⾥是从nacos配置中⼼读取,这样如果tc是集群,可以共 享配置 type = "nacos" # 配置nacos地址等信息 nacos { serverAddr = "127.0.0.1:8848" namespace = "" group = "SEATA_GROUP" username = "nacos" password = "nacos" dataId = "seataServer.properties" } }
服务端配置⽂件seataServer.properties⽂件需要在nacos中配新建配置# 数据存储方式,db代表数据库 store.mode=db store.db.datasource=druid store.db.dbType=mysql store.db.driverClassName=com.mysql.cj.jdbc.Driver store.db.url=jdbc:mysql://127.0.0.1:3306/seata?useUnicode=true&rewriteBatchedStatements=true store.db.user=root store.db.password=123456 store.db.minConn=5 store.db.maxConn=30 store.db.globalTable=global_table store.db.branchTable=branch_table store.db.queryLimit=100 store.db.lockTable=lock_table store.db.maxWait=5000 # 事务、日志等配置 server.recovery.committingRetryPeriod=1000 server.recovery.asynCommittingRetryPeriod=1000 server.recovery.rollbackingRetryPeriod=1000 server.recovery.timeoutRetryPeriod=1000 server.maxCommitRetryTimeout=-1 server.maxRollbackRetryTimeout=-1 server.rollbackRetryTimeoutUnlockEnable=false server.undo.logSaveDays=7 server.undo.logDeletePeriod=86400000 # 客户端与服务端传输方式 transport.serialization=seata transport.compressor=none # 关闭metrics功能,提高性能 metrics.enabled=false metrics.registryType=compact metrics.exporterList=prometheus metrics.exporterPrometheusPort=9898
5.创建数据库这些表主要记录全局事务、分⽀事务、全局锁信息:SET NAMES utf8mb4; SET FOREIGN_KEY_CHECKS = 0; -- ---------------------------- -- 分⽀事务表 -- ---------------------------- DROP TABLE IF EXISTS `branch_table`; CREATE TABLE `branch_table` ( `branch_id` bigint(20) NOT NULL, `xid` varchar(128) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL, `transaction_id` bigint(20) DEFAULT NULL, `resource_group_id` varchar(32) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL, `resource_id` varchar(256) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL, `branch_type` varchar(8) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL, `status` tinyint(4) DEFAULT NULL, `client_id` varchar(64) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL, `application_data` varchar(2000) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL, `gmt_create` datetime(6) DEFAULT NULL, `gmt_modified` datetime(6) DEFAULT NULL, PRIMARY KEY (`branch_id`) USING BTREE, INDEX `idx_xid` (`xid`) USING BTREE ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_general_ci ROW_FORMAT=Compact; -- ---------------------------- -- 全局事务表 -- ---------------------------- DROP TABLE IF EXISTS `global_table`; CREATE TABLE `global_table` ( `xid` varchar(128) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL, `transaction_id` bigint(20) DEFAULT NULL, `status` tinyint(4) NOT NULL, `application_id` varchar(32) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL, `transaction_service_group` varchar(32) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL, `transaction_name` varchar(128) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL, `timeout` int(11) DEFAULT NULL, `begin_time` bigint(20) DEFAULT NULL, `application_data` varchar(2000) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL, `gmt_create` datetime DEFAULT NULL, `gmt_modified` datetime DEFAULT NULL, PRIMARY KEY (`xid`) USING BTREE, INDEX `idx_gmt_modified_status` (`gmt_modified`, `status`) USING BTREE, INDEX `idx_transaction_id` (`transaction_id`) USING BTREE ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_general_ci ROW_FORMAT=Compact; SET FOREIGN_KEY_CHECKS = 1;
6.启动TC服务: 进⼊bin⽬录,运⾏其中的seata-server.bat即可默认端⼝为8091或者运⾏指令指定端⼝:seata-server.bat -p 9000 -m file启动成功后,seata-server应该已经注册到nacos注册中⼼了
3. 微服务集成Seata
3.1 引⼊依赖
<!-- seata --> <dependency> <groupId>com.alibaba.cloud</groupId> <artifactId>spring-cloud-starter-alibaba-seata</artifactId> <exclusions> <exclusion> <artifactId>seata-spring-boot-starter</artifactId> <groupId>io.seata</groupId> </exclusion> </exclusions> </dependency> <dependency> <groupId>io.seata</groupId> <artifactId>seata-spring-boot-starter</artifactId> <!--seata starter 采⽤1.4.2版本--> <version>1.4.2</version> </dependency>
3.2 配置TC地址
在订单服务中的application.yml中,配置TC服务信息,通过注册中⼼nacos,结合服务名称获取TC地址:seata: registry: # TC服务注册中心的配置,微服务根据这些信息去注册中心获取tc服务地址 type: nacos # 注册中心类型 nacos nacos: server-addr: 127.0.0.1:8848 # nacos地址 namespace: "" # namespace,默认为空 group: DEFAULT_GROUP # 分组,默认是DEFAULT_GROUP application: seata-tc-server # seata服务名称 username: nacos password: nacos tx-service-group: seata-demo # 事务组名称 service: vgroup-mapping: # 事务组与cluster的映射关系 seata-demo: SH data-source-proxy-mode: XA
微服务如何根据这些配置寻找TC的地址呢?我们知道注册到Nacos中的微服务,确定⼀个具体实例需要四个信息:
- ● namespace:命名空间
- ● group:分组
- ● application:服务名
- ● cluster:集群名
以上四个信息,在刚才的yaml⽂件中都能找到
3. 其它服务
其它微服务也都参考订单服务的步骤来做,完全⼀样。
4. 动⼿实践
Seata中的四种不同的事务模式
4.1 XA模式
XA 规范 是 X/Open 组织定义的分布式事务处理(DTP,Distributed Transaction Processing)标准,XA 规范 描述了全局的TM与局部的RM之间的接⼝,⼏乎所有主流的数据库都对 XA规范提供了⽀持。
4.1.1 两阶段提交
XA是规范,⽬前主流数据库都实现了这种规范,实现的原理都是基于两阶段提交。正常情况:异常情况:⼀阶段:● 事务协调者通知每个事物参与者执⾏本地事务● 本地事务执⾏完成后报告事务执⾏状态给事务协调者,此时事务不提交,继续持有数据库锁⼆阶段:● 事务协调者基于⼀阶段的报告来判断下⼀步操作○ 如果⼀阶段都成功,则通知所有事务参与者,提交事务○ 如果⼀阶段任意⼀个参与者失败,则通知所有事务参与者回滚事务
4.1.2 Seata的XA模型
Seata对原始的XA模式做了简单的封装和改造,以适应⾃⼰的事务模型,基本架构如图:RM⼀阶段的⼯作:
- 注册分⽀事务到TC
- 执⾏分⽀业务sql但不提交
- 报告执⾏状态到TC
TC⼆阶段的⼯作:
- TC检测各分⽀事务执⾏状态
- 如果都成功,通知所有RM提交事务
- 如果有失败,通知所有RM回滚事务
RM⼆阶段的⼯作:
- 接收TC指令,提交或回滚事务
4.1.3 优缺点
XA模式的优点是什么?
- 事务的强一致性,满足 ACID 原则。
- 常用数据库都支持,实现简单,并且没有代码侵入
XA模式的缺点是什么?
- 因为一阶段需要锁定数据库资源,等待二阶段结束才释放,性能较差
- 依赖关系型数据库实现事务
4.1.4 实现XA模式
Seata的starter已经完成了XA模式的⾃动装配,实现⾮常简单,步骤如下:1)修改application.yml⽂件(每个参与事务的微服务),开启XA模式:seata: data-source-proxy-mode: XA
上面已经改过了
2)给发起全局事务的⼊⼝⽅法添加@GlobalTransactional注解:本例中是OrderServiceImpl中的createOrder⽅法.3)重启服务并测试重启order-service,再次测试,发现⽆论怎样,微服务都能成功回滚。 报错了 成功回滚
4.2 AT模式
AT模式同样是分阶段提交的事务模型,不过缺弥补了XA模型中资源锁定周期过⻓的缺陷。
4.2.1 Seata的AT模型
基本流程图:阶段⼀RM的⼯作:
- 注册分⽀事务
- 记录undo-log(数据快照)
- 执⾏业务sql并提交
- 报告事务状态
阶段⼆提交时RM的⼯作:
- 删除undo-log即可
- 阶段⼆回滚时RM的⼯作:
- 根据undo-log恢复数据到更新前
4.2.2 AT与XA的区别
简述AT模式与XA模式最⼤的区别是什么?● XA模式⼀阶段不提交事务,锁定资源;AT模式⼀阶段直接提交,不锁定资源。● XA模式依赖数据库机制实现回滚;AT模式利⽤数据快照实现数据回滚。● XA模式强⼀致;AT模式最终⼀致
4.2.3 脏写问题
4.2.4.优缺点
AT模式的优点:● ⼀阶段完成直接提交事务,释放数据库资源,性能⽐较好● 利⽤全局锁实现读写隔离● 没有代码侵⼊,框架⾃动完成回滚和提交AT模式的缺点:● 两阶段之间属于软状态,属于最终⼀致● 框架的快照功能会影响性能,但⽐XA模式要好很多
4.2.5.实现AT模式
AT模式中的快照⽣成、回滚等动作都是由框架⾃动完成,没有任何代码侵⼊,因此实现⾮常简单。只不过,AT模式需要⼀个表来记录全局锁、另⼀张表来记录数据快照undo_log。
1)导⼊数据库表,记录全局锁
运⾏seata-at.sql,其中lock_table导⼊到TC服务关联的数据库,undo_log表导⼊到微服务关联的数据库:
/* Navicat Premium Data Transfer Source Server : local Source Server Type : MySQL Source Server Version : 50622 Source Host : localhost:3306 Target Server Type : MySQL Target Server Version : 50622 File Encoding : 65001 */ SET NAMES utf8mb4; SET FOREIGN_KEY_CHECKS = 0; -- ---------------------------- -- Table structure for undo_log -- ---------------------------- DROP TABLE IF EXISTS `undo_log`; CREATE TABLE `undo_log` ( `branch_id` bigint(20) NOT NULL COMMENT 'branch transaction id', `xid` varchar(100) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL COMMENT 'global transaction id', `context` varchar(128) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL COMMENT 'undo_log context,such as serialization', `rollback_info` longblob NOT NULL COMMENT 'rollback info', `log_status` int(11) NOT NULL COMMENT '0:normal status,1:defense status', `log_created` datetime(6) NOT NULL COMMENT 'create datetime', `log_modified` datetime(6) NOT NULL COMMENT 'modify datetime', UNIQUE INDEX `ux_undo_log`(`xid`, `branch_id`) USING BTREE ) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci COMMENT = 'AT transaction mode undo table' ROW_FORMAT = Compact; -- ---------------------------- -- Records of undo_log -- ---------------------------- -- ---------------------------- -- Table structure for lock_table -- ---------------------------- DROP TABLE IF EXISTS `lock_table`; CREATE TABLE `lock_table` ( `row_key` varchar(128) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL, `xid` varchar(96) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL, `transaction_id` bigint(20) NULL DEFAULT NULL, `branch_id` bigint(20) NOT NULL, `resource_id` varchar(256) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL, `table_name` varchar(32) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL, `pk` varchar(36) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL, `gmt_create` datetime NULL DEFAULT NULL, `gmt_modified` datetime NULL DEFAULT NULL, PRIMARY KEY (`row_key`) USING BTREE, INDEX `idx_branch_id`(`branch_id`) USING BTREE ) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Compact; SET FOREIGN_KEY_CHECKS = 1;
2)修改application.yml⽂件,将事务模式修改为AT模式即可:
seata: data-source-proxy-mode: AT # 默认就是AT
3)重启服务并测试