go-zero学习 第六章 分布式事务dtm

news2025/2/26 6:37:23

go-zero学习 第六章 分布式事务dtm

  • 1 参考文档
  • 2 官方示例
  • 3 go-zero使用dtm参考代码
    • 3.1 go-zero支持dtm 代码操作步骤
    • ※3.2 gozerodtm 代码操作步骤
  • 4 注意事项
    • 4.1 grpc接口地址
    • ※4.2 动态调用过程
    • 4.3 dtm的回滚补偿
    • 4.4 `barrier`的空补偿、悬挂等
    • 4.5 `barrier`在`rpc`中本地事务

1 参考文档

  1. Go开源说第十七期 分布式事务DTM
  2. DTM开源项目文档：官方文档
  3. 分布式事务解决方案：7种常见解决方案汇总
  • msg：二阶段消息，适合不需要回滚的全局事务。
  • saga：适合需要支持回滚的全局事务。
  • tcc：适合一致性要求较高的全局事务。
  • xa：适合性能要求不高，没有行锁争抢的全局事务。

2 官方示例

参考：https://github.com/dtm-labs/dtm/blob/main/helper/README-cn.md

以下步骤均是按参考实操的。

  1. 运行dtm服务器（可以观察事务执行情况）

运行示例前，必须首先运行dtm服务器。

git clone https://github.com/dtm-labs/dtm && cd dtm
go mod tidy
go run main.go
  1. 启动并运行一个saga示例

下面运行一个类似跨行转账的示例，包括两个事务分支：资金转出（TransOut)、资金转入（TransIn)。DTM保证TransIn和TransOut要么全部成功，要么全部回滚，保证最终金额的正确性。

git clone https://github.com/dtm-labs/dtmcli-go-sample && cd dtmcli-go-sample
go run main.go
  1. dtmcli-go-sample 中的具体代码
package main

import (
	"fmt"
	"log"
	"time"

	"github.com/dtm-labs/dtmcli"
	"github.com/gin-gonic/gin"
)

// 事务参与者的服务地址
const qsBusiAPI = "/api/busi_start"
const qsBusiPort = 8082

var qsBusi = fmt.Sprintf("http://localhost:%d%s", qsBusiPort, qsBusiAPI)

func main() {
	QsStartSvr()
	_ = QsFireRequest()
	select {}
}

// QsStartSvr quick start: start server
func QsStartSvr() {
	app := gin.New()
	qsAddRoute(app)
	log.Printf("quick start examples listening at %d", qsBusiPort)
	go func() {
		_ = app.Run(fmt.Sprintf(":%d", qsBusiPort))
	}()
	time.Sleep(100 * time.Millisecond)
}

func qsAddRoute(app *gin.Engine) {
	app.POST(qsBusiAPI+"/TransIn", func(c *gin.Context) {
		log.Printf("TransIn")
		c.JSON(200, "")
		// c.JSON(409, "") // Status 409 for Failure. Won't be retried
	})
	app.POST(qsBusiAPI+"/TransInCompensate", func(c *gin.Context) {
		log.Printf("TransInCompensate")
		c.JSON(200, "")
	})
	app.POST(qsBusiAPI+"/TransOut", func(c *gin.Context) {
		log.Printf("TransOut")
		c.JSON(200, "")
	})
	app.POST(qsBusiAPI+"/TransOutCompensate", func(c *gin.Context) {
		log.Printf("TransOutCompensate")
		c.JSON(200, "")
	})
}

const dtmServer = "http://localhost:36789/api/dtmsvr"

// QsFireRequest quick start: fire request
func QsFireRequest() string {
	req := &gin.H{"amount": 30} // 微服务的载荷
	// DtmServer为DTM服务的地址
	saga := dtmcli.NewSaga(dtmServer, dtmcli.MustGenGid(dtmServer)).
		// 添加一个TransOut的子事务，正向操作为url: qsBusi+"/TransOut"， 逆向操作为url: qsBusi+"/TransOutCompensate"
		Add(qsBusi+"/TransOut", qsBusi+"/TransOutCompensate", req).
		// 添加一个TransIn的子事务，正向操作为url: qsBusi+"/TransOut"， 逆向操作为url: qsBusi+"/TransInCompensate"
		Add(qsBusi+"/TransIn", qsBusi+"/TransInCompensate", req)
	// 提交saga事务，dtm会完成所有的子事务/回滚所有的子事务
	err := saga.Submit()

	if err != nil {
		panic(err)
	}
	log.Printf("transaction: %s submitted", saga.Gid)
	return saga.Gid
}
  1. 失败情况
    在实际的业务中，子事务可能出现失败，例如转入的子账号被冻结导致转账失败。我们对业务代码进行修改，让TransIn的正向操作失败，然后看看结果：
	app.POST(qsBusiAPI+"/TransIn", func(c *gin.Context) {
		logger.Infof("TransIn")
		c.JSON(409, "") // Status 409 表示失败，不再重试，直接回滚
	})

在转入操作失败的情况下，TransIn和TransOut的补偿操作被执行，保证了最终的余额和转账前是一样的。

3 go-zero使用dtm参考代码

3.1 go-zero支持dtm 代码操作步骤

参考：go-zero支持dtm：官方讲解+代码

注意：这里只是从调用方角度展示了如何使用dtm的代码，而关于被调用方的代码缺失，需要结合3.2 gozerodtm 代码操作步骤。

  1. 启动Etcd，查看所有key命令：etcdctl.exe get --prefix ""
  2. 把dtm clone下来
  3. 找到dtm项目根文件夹下的conf.sample.yml，复制一份名称改为conf.yml
  4. 把conf.yml中的下面这段注释放开：
MicroService: # gRPC/HTTP based microservice config
   Driver: 'dtm-driver-gozero' # name of the driver to handle register/discover
   Target: 'etcd://localhost:2379/dtmservice' # register dtm server to this url
   EndPoint: 'localhost:36790'
  • MicroService：这个不要动，这个代表要对把dtm注册到那个微服务服务集群里面去，使微服务集群内部服务可以通过grpc直接跟dtm交互
  • Driver ：'dtm-driver-gozero'， 使用go-zero的注册服务发现驱动，支持go-zero。
  • Target: 'etcd://localhost:2379/dtmservice'将当前dtm的server直接注册到微服务所在的etcd集群中，如果go-zero作为微服务使用的话，就可以直接通过etcd拿到dtm的server grpc链接，直接就可以跟dtm server交互了。
  • EndPoint: 'localhost:36790' ， 代表的是dtm的server的连接地址+端口 ， 集群中的微服务可以直接通过etcd获得此地址跟dtm交互了，如果你自己去改了dtm源码grpc端口，记得这里要改下端口。
  1. 启动dtm
# 前提：配置好conf.yml
go run main.go -c conf.yml

如果是用Goland启动，则需要将 -c conf.yml作为参数填写到Program arguments中。

  1. 运行一个go-zero的服务
git clone https://github.com/dtm-labs/dtmdriver-clients && cd dtmdriver-clients
cd gozero/trans && go run trans.go
  1. 发起一个go-zero使用dtm的事务
# 在dtmdriver-clients的目录下
cd gozero/app && go run main.go
  1. 在trans的日志中看到记录信息，就是事务正常完成了
2023/07/24 21:45:47 transfer out 30 cents from 1
2023/07/24 21:45:47 transfer in 30 cents to 2   
2023/07/24 21:45:47 transfer out 30 cents from 1
2023/07/24 21:45:47 transfer out 30 cents from 1

※3.2 gozerodtm 代码操作步骤

参考：gozerodtm：Mikaelemmmm代码

项目介绍：

  • order-api是http服务入口。
  • order-srv是订单的rpc服务，与dtm-gozero-order数据库中order表交互。
  • stock-srv是库存的rpc服务，与dtm-gozero-stock数据库中stock表交互。

整体流程：
http调用order-api中立即下单接口，然后order-api立即下单接口会去调用order-srv创建订单并且调用stock-srv扣减库存，因为order-srv与stock-srv是2个独立grpc服务，所以使用dtm来做分布式事务协调。

前5步与3.1完全一致。

  1. 创建数据库表
    在项目的datasql目录下分别有：order-srv服务的dtm-gozero-order.sql、stock-srv服务的dtm-gozero-stock.sql，在数据库按照创建两个数据库并执行相关sql。
  2. 修改数据库连接配置
    分别修改 order-srv、stock-srv服务的yaml中的数据库连接配置。
  3. 修改启动类读取配置文件的路径
    分别修改order-api、order-srv、stock-srv中读取yaml配置的路径。
  4. 启动服务
    依次启动order-srv、stock-srv、order-api服务
  5. 请求测试
    使用POSTMAN测试：
    请求地址：http://localhost:8889/order/quickCreate
    请求方式：POST
    数据格式：JSON
    请求数据：{"userId":2,"goodsId":1,"num":20}
  6. 测试结果
    HTTP请求响应成功，状态是200，但是查看DTM服务发现，操作失败，且数据库中数据未改变。
    原因排查：
    依次查看order-api、order-srv、stock-srv服务后，发现在order-srv服务有报错，主要报错信息：
{"level":"error","ts":"2023-07-25T14:08:24.891+0800","caller":"dtmimp/utils.go:207","msg":"used: 0 ms exec error: Error 1146: Table 'dtm_barrier.barrier' doesn't exist for insert i
gnore into dtm_barrier.barrier(trans_type, gid, branch_id, op, barrier_id, reason) values(?,?,?,?,?,?)

推断是缺少dtm_barrier数据库以及barrier数据表。

  1. 创建dtm_barrier数据库以及barrier数据表
/*
 Navicat Premium Data Transfer

 Source Server         : 本机
 Source Server Type    : MySQL
 Source Server Version : 50737
 Source Host           : 127.0.0.1:3357
 Source Schema         : dtm_barrier

 Target Server Type    : MySQL
 Target Server Version : 50737
 File Encoding         : 65001

 Date: 25/07/2023 14:06:43
*/

SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;

-- ----------------------------
-- Table structure for barrier
-- ----------------------------
DROP TABLE IF EXISTS `barrier`;
CREATE TABLE `barrier`  (
  `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT 'ID',
  `trans_type` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
  `gid` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
  `branch_id` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
  `op` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
  `barrier_id` bigint(20) NULL DEFAULT NULL,
  `reason` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
  `create_time` datetime(0) NULL DEFAULT CURRENT_TIMESTAMP(0) ON UPDATE CURRENT_TIMESTAMP(0),
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 1 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci COMMENT = 'dtm子屏障数据表' ROW_FORMAT = DYNAMIC;

SET FOREIGN_KEY_CHECKS = 1;
  1. 重新请求测试
    HTTP请求响应成功，状态是200，DTM服务中状态显示操作成功，且数据库中数据改变。

4 注意事项

在3.1 go-zero支持dtm 代码操作步骤和※3.2 gozerodtm 代码操作步骤有一些操作注意事项。

重点是子事务如何处理 回滚、补偿等操作，这一块需要特别留意。

4.1 grpc接口地址

在找grpc访问的方法路径时候，是在***.pb.go的文件中找该方法invoke的路径。
原因：当proto文件方法名字都是大写，这2者都一样如果proto中方法名字小写的，invoke中跟他的方法名就不一样了
在这里插入图片描述
仔细观察发现两个路径有大小写之分！
在这里插入图片描述

※4.2 动态调用过程

在go-zero使用dtm的分布式事务时，许多的调用是从dtm服务器发起的，例如TCC的Confirm/Cancel，SAGA/MSG的所有调用。

dtm无需知道组成分布式事务的相关业务api的强类型，它是动态的调用这些api。

grpc的调用，可以类比于HTTP的POST，其中：

  • c.BuildTarget() 产生的target类似于URL中的Host
  • “/trans.TransSvc/TransOut” 相当于URL中的Path
  • &busi.BusiReq{Amount: 30, UserId: 1} 相当于Post中Body
  • pb.Response 相当于HTTP请求的响应

通过下面这部分代码，dtm就拿到了完整信息，就能够发起完整的调用了

Add(busiServer+"/trans.TransSvc/TransOut", &busi.BusiReq{Amount: 30, UserId: 1})

4.3 dtm的回滚补偿

在使用dtm的grpc时候，当我们使用saga、tcc等如果第一步尝试或者执行失败了，是希望它能执行后面的rollback的，在grpc中的服务如果发生错误了，必须返回 ： status.Error(codes.Aborted, dtmcli.ResultFailure) ， 返回其他错误，不会执行你的rollback操作，dtm会一直重试，如下图：
在这里插入图片描述

4.4 barrier的空补偿、悬挂等

这一步需要创建dtm_barrier数据库以及barrier数据表。这个其实就是为我们的业务服务做了一个检查，防止空补偿，具体可以看barrier.Call中源码，没几行代码可以看懂的。

每个与db交互的服务只要用到了barrier，都需要这个。

4.5 barrier在rpc中本地事务

在rpc的业务中，如果使用了barrier的话，那么在model中与db交互时候必须要用事务，并且一定要跟barrier用同一个事务。
logic：
在这里插入图片描述
model：
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/787584.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

多媒体工作中用到的小工具

多媒体工作中用到的小工具

安利下嵌入式多媒体用到的各种小工具 下面是同事们推荐的 以下是对这些软件的简要介绍： ocenaudio：ocenaudio是一款跨平台的音频编辑软件，它提供了直观的界面和丰富的功能，可以帮助用户进行音频剪辑、修复、转码等操作。 MKVToolNix：MKVToolNix是一款开源的多媒体容器格…
阅读更多...
web-vim信息泄露

web-vim信息泄露

（1）知识补充 vim 交换文件名 在使用vim时会创建临时缓存文件，关闭vim时缓存文件则会被删除，当vim异常退出后，因为未处理缓存文件，导致可以通过缓存文件恢复原始文件内容 　　以 index.php 为例&#xff1…
阅读更多...
Redis一主二从三哨兵模式

Redis一主二从三哨兵模式

文章目录 Redis一主二从三哨兵模式环境配置实践配置主从配置哨兵模式 测试主从复制测试模拟master宕机恢复master Redis一主二从三哨兵模式 当你使用Redis作为主从复制的架构，并且希望在出现主节点故障时自动进行故障转移时，适用于一主而从三哨兵模式。…
阅读更多...
android 面试题目之handler消息机制

android 面试题目之handler消息机制

Handler消息机制是Android里面很基础的东西，基本上属于必考题 一般会从如下几个方面来考查 实现原理，Handler/Message/MessageQueue/Looper 几个类的实现流程，Handler导致的内存泄露怎么处理主线程的Looper是什么时候创建的；如果…
阅读更多...
3. Spring 更简单的读取和存储对象（五大类注解 方法注解）

3. Spring 更简单的读取和存储对象（五大类注解 方法注解）

目录 1. 存储 Bean 对象 1.1 配置扫描路径 1.2 添加注解存储 Bean 对象 1.2.1 Controller（控制器存储） 1.2.2 Service（服务存储） 1.2.3 Repository（仓库存储） 1.2.4 Component（组件存储&…
阅读更多...
C语言学习笔记 Ubuntu系统下部署gcc编译工具-01

C语言学习笔记 Ubuntu系统下部署gcc编译工具-01

在22.04版本 ubuntu系统下： 1.进行apt工具包更新 sudo apt-get update 2.安装gcc工具 sudo apt-get install -y gcc 3.创建一下文件，并编译它输出相应的内容 touch hello.c 4.使用gcc编译c源程序并运行 格式：gcc 源文件名 -o 生成的执行文…
阅读更多...
AcWing 1210. 连号区间数

AcWing 1210. 连号区间数

输入样例1： 4 3 2 4 1输出样例1： 7输入样例2： 5 3 4 2 5 1输出样例2： 9样例解释 第一个用例中，有 77 个连号区间分别是：[1,1],[1,2],[1,3],[1,4],[2,2],[3,3],[4,4][1,1],[1,2],[1,3],[1,4],[2,2],[3,3…
阅读更多...
记一次vscode配置CMake编译task的坑

记一次vscode配置CMake编译task的坑

事情经过是这样的，博主在一个项目中需要使用交叉编译链进行项目编译，但是在CMake中有一个自定义的编译选项，在vscode中配置task任务后，编译发现终端报静态库.a文件格式错误，如下图所示： 但是如果在CMakeLis…
阅读更多...
python与深度学习(七):CNN和fashion_mnist

python与深度学习(七):CNN和fashion_mnist

目录 1. 说明2. fashion_mnist实战2.1 导入相关库2.2 加载数据2.3 数据预处理2.4 数据处理2.5 构建网络模型2.6 模型编译2.7 模型训练2.8 模型保存2.9 模型评价2.10 模型测试2.11 模型训练结果的可视化 3. fashion_mnist的CNN模型可视化结果图4. 完整代码 1. 说明 本篇文章是C…
阅读更多...
Install the Chinese input method on Linux

Install the Chinese input method on Linux

Open terminal and input: sudo -i apt install fcitx fcitx-googlepinyinWait for it to finish. Search fcitx: "设置"-->"输入法": Finally, we get the following result： Ctrl Space：Switch the input method. The test …
阅读更多...
Redis追本溯源（三）内核：线程模型、网络IO模型、过期策略与淘汰机制、持久化

Redis追本溯源（三）内核：线程模型、网络IO模型、过期策略与淘汰机制、持久化

文章目录 一、Redis线程模型演化1.Redis4.0之前2.Redis4.0之后单线程、多线程对比3.redis 6.0之后 二、Redis的网络IO模型1.基于事件驱动的Reactor模型2.什么是事件驱动，事件驱动的Reactor模型和Java中的AIO有什么区别3.异步非阻塞底层实现原理 三、Redis过期策略1.…
阅读更多...
印刷和数字设计的页面布局软件 QuarkXPress 2023 Crack

印刷和数字设计的页面布局软件 QuarkXPress 2023 Crack

QuarkXPress 2023 用于印刷 和数字设计的页面布局软件，使用 QuarkXPress 释放您的创造力并最大限度地提高生产力 图形设计和桌面出版流程早就应该进行创新和颠覆，所以 QuarkXPress 就来了。自 1987 年首次亮相市场以来，成千上万的创意专业人士…
阅读更多...
RocketMQ教程-(5)-功能特性-事务消息

RocketMQ教程-(5)-功能特性-事务消息

事务消息为 Apache RocketMQ 中的高级特性消息，本文为您介绍事务消息的应用场景、功能原理、使用限制、使用方法和使用建议。 事务消息为 Apache RocketMQ 中的高级特性消息，本文为您介绍事务消息的应用场景、功能原理、使用限制、使用方法和使用建议。…
阅读更多...
FFmpeg AVFilter的原理（三）- filter是如何被驱动的

FFmpeg AVFilter的原理（三）- filter是如何被驱动的

1、下面是一个avfilter的graph 上图是ffmpeg中doc/examples中filtering_video.c案例的示意图。 本章节主要查看avfilter中的数据是怎么进入的，然后又是怎么出来的。 主要考察两个函数： av_buffersrc_add_frame_flags（）av_buffers…
阅读更多...
gcc编译的时候出现错误，可以用core查看错误信息

gcc编译的时候出现错误，可以用core查看错误信息

比如说我们有文件main.c,threadpool.c,threadpool.h main.c和threadpool.c都用了threadpool.h,也就是#include "threadpool.h" （1）如果我们直接使用gcc main.c -o a.out -lpthread会报如下的错 我们需要进行动态库链接 gcc -c threadpool.c -…
阅读更多...
驱动开发 day3 (模块化驱动启动led,蜂鸣器,风扇,震动马达)

驱动开发 day3 (模块化驱动启动led,蜂鸣器,风扇,震动马达)

模块化驱动启动led,蜂鸣器,风扇,震动马达并加上Makefile 封装模块化驱动，可自由安装卸载驱动，便于驱动更新(附图) 1.安装模块驱动同时初始化各个设备并使能 2.该驱动会自动创建驱动节点. 3.通过c函数程序输入控制各个设备 4.卸载模块驱动 //编译驱动…
阅读更多...
裂缝二维检测：裂缝类型判断

裂缝二维检测：裂缝类型判断

裂缝类型选择 裂缝类型有很多种，这里我们判断类型的目的是要搞明白是否有必要检测裂缝的长度。在本文中，需要判断的裂缝类型共有四种：横向裂缝、纵向裂缝、斜裂缝、网状裂缝。 环境搭建 上一节骨架图提取部分，我们已经安装了sk…
阅读更多...
Linux centos安装openoffice在线预览

Linux centos安装openoffice在线预览

前言：由于项目里需要用到word、excel等文件的在线预览，所有选择了openoffice 1、下载openoffice Apache OpenOffice - Official Download 大家自行选择需要安装的版本，楼主由于之前在其他服务器安装过，选择了之前用过的版本&am…
阅读更多...
4.Docker数据管理和容器互联

4.Docker数据管理和容器互联

文章目录 Docker数据管理数据卷（容器与宿主机之间数据共享）数据卷容器（容器与容器之间数据共享）容器互联 Docker数据管理 数据卷（容器与宿主机之间数据共享） 数据卷是一个供容器使用的特殊目录&#xff0…
阅读更多...
【UE5 多人联机教程】03-创建游戏

【UE5 多人联机教程】03-创建游戏

效果 步骤 打开“UMG_MainMenu”，增加创建房间按钮的点击事件 添加如下节点 其中，“FUNL Fast Create Widget”是插件自带的函数节点，内容如下： “创建会话”节点指游戏成功创建一个会话后，游戏的其他实例即可发现&am…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023