一致性框架设计方案

news2024/11/17 9:44:13

补充组件依赖

前言
对于供应链业务,一般对数据一致性要求高。且由于业务复杂,可能会存在一个业务功能触发几个异步操作的场景,且要保证相关操作同时触发或不触发。
为了降低技术设计难度、代码编写难度,特意设计最终一致性框架,将复杂度转移到底层组件,释放业务层设计难度,提高一致性,减少线上问题。

需求分析

应用场景

  1. 供应链复杂业务,需要确保 MQ、数据库事务的一致性,但是不希望在业务层过多设计
  2. 供应链复杂业务,发送多个 MQ 消息,且要保证这些 MySQL事务、MQ 同时成功或失败
  3. 对于C端商城业务,此中间件作为选项。如果不采用这套方案,需要为具体的业务场景设计最终一致性方案
  4. 主要针对功能:异步类型功能,例如:MQ、异步任务等

原理

  1. 原理:基于 MySQL 事务,将异步功能,先转换为一行数据存储到 MySQL。存储后再用异步线程执行任务。同时,设置有后台定时任务对任务表进行轮询补偿。

功能
2. 管理后台:拥有在管理后台,查询相关接口并进行重试的能力
3. 监控:监控执行的相关性能:生成任务的速率、异步线程消费任务的速率、定时任务消费任务的速率

组件依赖

  1. xx-mybatis-plus-starter
    a. 依赖 xx mysql 规范,使用基础组件的 orm starter
  2. xx-threadpool-starter
  3. xx-redis-starter
  4. xx-rocketmq-starter
  5. xx-actuator-starter
  6. promethues
    a. 需要对相关指标做监控

使用注意事项

  1. 对使用的需求:上述执行的任务,要是幂等的。在MQ层面,要求MQ消费者幂等;在异步任务层,要求异步任务是幂等的

概要设计
功能交互

在这里插入图片描述
后台管理功能

  1. 管理列表
  2. 重试单个失败任务
  3. 批量重试失败任务

详细设计

API接口设计

  1. 管理列表
    接口说明 列表分页查询
    分页方式:使用{@link ConsistencyListDto#getStartId()}(默认为0)作为起始ID进行查询,返回size大小的数据。
    前端点「下一页」时需要将当前页最大的id赋值给startId作为参数传递
    todo 不能返回上一页,或前端记录上一页的startId??
    排序:默认使用主键排序,不支持自定义
    {@link ConsistencyListDto#getSize()}为必填,最大限制50
    接口地址 /consistency/getByPage
    入参 com.xx.support.consistency.core.entity.dto.ConsistencyListDto
    出参 com.xx.support.consistency.core.entity.vo.ConsistencyVo
  2. 手动重试已失败的任务
    接口说明 单个失败任务重试
    执行方式:立即执行任务
    接口地址 /consistency/retryFailedTaskById
    入参 com.xx.support.consistency.core.entity.dto.ConsistencyIdDto
    出参 无
  3. 手动批量重试已失败的任务
    接口说明 1. 可根据consumerBeanName进行重试
  4. 如果consumerBeanName为空则重试全部已失败的任务
    执行方式:接口操作内容为修改已失败任务的状态由FAIL改为PENDING,修改后后台定时任务会进行扫描执行这些任务
    接口地址 /consistency/retryFailedTaskAll
    入参 com.xx.support.consistency.core.entity.dto.ConsistencyBeanNameDto
    出参 无

表设计
CREATE TABLE support_consistency (
id bigint unsigned NOT NULL AUTO_INCREMENT COMMENT ‘id’,
consumer_bean_name varchar(32) NOT NULL DEFAULT ‘’ COMMENT ‘消费本地消息的bean的名称’,
consistency_state varchar(16) NOT NULL DEFAULT ‘’ COMMENT ‘消息状态’,
msg_type varchar(16) NOT NULL DEFAULT ‘’ COMMENT ‘消息类型’,
exec_count int unsigned NOT NULL DEFAULT ‘0’ COMMENT ‘执行次数(默认为0,当消息发送一次 进行加1)’,
max_exec_count int unsigned NOT NULL DEFAULT ‘3’ COMMENT ‘最大重试次数’,
exec_priority int unsigned NOT NULL DEFAULT ‘100’ COMMENT ‘执行优先级,数字越小,优先级越高’,
expected_exec_time datetime NOT NULL DEFAULT ‘1970-01-01 00:00:00’ COMMENT ‘预期执行时间’,
latest_exec_time datetime NOT NULL DEFAULT ‘1970-01-01 00:00:00’ COMMENT ‘最后一次执行时间’,
success_time datetime NOT NULL DEFAULT ‘1970-01-01 00:00:00’ COMMENT ‘执行成功时间’,
fail_time datetime NOT NULL DEFAULT ‘1970-01-01 00:00:00’ COMMENT ‘失败时间’,
exec_user varchar(32) NOT NULL DEFAULT ‘’ COMMENT ‘执行人’,
create_time datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT ‘创建时间’,
create_user varchar(32) NOT NULL DEFAULT ‘’ COMMENT ‘创建人’,
update_time datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT ‘更新时间’,
update_user varchar(32) NOT NULL DEFAULT ‘’ COMMENT ‘更新人’,
del_timestamp bigint unsigned NOT NULL DEFAULT ‘0’ COMMENT ‘是否删除(0:未删除,非0(14位时间戳):已删除)’,
version int unsigned NOT NULL DEFAULT ‘1’ COMMENT ‘版本号’,
PRIMARY KEY (id),
KEY idx_support_consistency_1 (consistency_state,msg_type,exec_priority,expected_exec_time) USING BTREE,
KEY idx_support_consistency_2 (consumer_bean_name,consistency_state) USING BTREE
) ENGINE=InnoDB COMMENT=‘一致性本地消息-主表’;

CREATE TABLE support_consistency_text (
id bigint unsigned NOT NULL AUTO_INCREMENT COMMENT ‘id’,
support_consistency_id bigint unsigned NOT NULL DEFAULT ‘0’ COMMENT ‘主表id’,
error_msg varchar(255) NOT NULL DEFAULT ‘’ COMMENT ‘执行错误信息’,
msg_text text COMMENT ‘消息文本’,
create_time datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT ‘创建时间’,
create_user varchar(32) NOT NULL DEFAULT ‘’ COMMENT ‘创建人’,
update_time datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT ‘更新时间’,
update_user varchar(32) NOT NULL DEFAULT ‘’ COMMENT ‘更新人’,
del_timestamp bigint unsigned NOT NULL DEFAULT ‘0’ COMMENT ‘是否删除(0:未删除,非0(14位时间戳):已删除)’,
version int unsigned NOT NULL DEFAULT ‘1’ COMMENT ‘版本号’,
PRIMARY KEY (id),
KEY idx_support_consistency_text_1 (support_consistency_id) USING BTREE
) ENGINE=InnoDB COMMENT=‘一致性本地消息-报文表’;

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/438310.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Vue - 实现垂直菜单分类栏目,鼠标移入后右侧出现悬浮二级菜单容器效果(完整示例源码,详细代码注释,一键复制开箱即用)

前言 网上的教程都太乱了,各种杂乱无注释代码、图片资源丢失、一堆样式代码,根本无法改造后应用到自己的项目中。 本文实现了 在 Vue / Nuxt 项目中,垂直分类菜单项,当用户鼠标移入菜单后,右侧自动出现二级分类悬浮容器盒子效果, 您可以直接复制源码,然后按照您的需求再…

pyecharts从入门到精通-地图专题BMap-世界地图和中国城市地图

文章目录 参考安装与查看pyecharts地图实现-BMap案例演示案例演示-杭州热门旅行线路图拓展-pyecharts中BMap源码 参考 官方文档:https://pyecharts.org/#/zh-cn/quickstart Bmap - Hiking_trail_in_hangzhou 安装与查看pyecharts 安装pyecharts pip install pyecharts2.0.3…

傅里叶级数FS,连续时间傅里叶变换CTFT,离散时间傅里叶变换DTFT,离散傅里叶变换DFT,推导与联系(二)

由于本文公式所占用的字符比较多,无法在一篇博客中完整发布,所以将其分为两篇博客。本篇主要介绍了离散傅里叶变换 DFT 的内容,以及相关的总结。对于前置内容,包括傅里叶级数 FS,连续时间傅里叶变换 CTFT,以…

【小程序】手动实现switch开关中带文字效果(开关左右文字相同/不同都可以)

最终效果&#xff1a; 左右文字宽度相同 左右文字宽度不同 左右长度相同 效果&#xff1a;配合wx:show切换 注意&#xff1a;左右长度相同的话可以设置合适的相同的宽度。 html&#xff1a; <view class"switch"><viewclass"switchNums {{ swi…

什么是Web1.0时代、Web2.0时代、Web3.0时代?

什么是Web1.0时代、Web2.0时代、Web3.0时代&#xff1f; 互联网的起源。1969年美国的阿帕网的出现标志着互联网的诞生&#xff0c;而1973年第一台个人电脑The Xerox Alto的出现就预示了互联网将蓬勃生长&#xff0c;随之而来的就是我们迈入了信息时代。短短几十年的发展&#x…

【服务器数据恢复】Storwize存储上的Oracle数据库数据恢复案例

服务器数据恢复环境&#xff1a; IBM Storwize某型号存储&#xff0c;共10块磁盘&#xff0c;组建了2组Mdisk加入到一个存储池中&#xff0c;创建了一个通用卷存放数据&#xff0c;存放的数据包含oracle数据库。 服务器故障&#xff1a; 存储中其中一组Mdisk有两块磁盘出现故障…

三百左右蓝牙耳机选哪个?300元左右半入耳式耳机推荐

目前TWS耳机十分火热&#xff0c;成为许多人出行、娱乐的必要工具&#xff0c;但同时许多厂商也看到了这块的市场&#xff0c;大小品牌、各种形态的耳机产品应有尽有&#xff0c;某宝随便一搜就是几万个链接&#xff0c;下面整理了几款300左右价位的耳机品牌分享给大家。 一、南…

【GPT4】微软 GPT-4 测试报告(2)多模态与跨学科的组合

欢迎关注【youcans的AGI学习笔记】原创作品&#xff0c;火热更新中 微软 GPT-4 测试报告&#xff08;1&#xff09;总体介绍 微软 GPT-4 测试报告&#xff08;2&#xff09;多模态与跨学科能力 微软 GPT-4 测试报告&#xff08;3&#xff09;编程能力 微软 GPT-4 测试报告&…

【服务器】XShell报错:应用程序无法正常启动(0xc000007b)

XShell报错&#xff1a;应用程序无法正常启动(0xc000007b) 某一天&#xff0c;Win上XShell启动时突然报错如下&#xff1a; 报错信息&#xff1a;应用程序无法正常启动(0x000007b)。请单击“确定”关闭应用程序。 卸载XShell重装后该问题仍然存在。 解决方法&#xff1a; 下…

设计模式 -- 迭代器模式

前言 月是一轮明镜,晶莹剔透,代表着一张白纸(啥也不懂) 央是一片海洋,海乃百川,代表着一块海绵(吸纳万物) 泽是一柄利剑,千锤百炼,代表着千百锤炼(输入输出) 月央泽,学习的一种过程,从白纸->吸收各种知识->不断输入输出变成自己的内容 希望大家一起坚持这个过程,也同…

107页园区大数据治理解决方案2022(ppt可编辑)

本资料来源公开网络&#xff0c;仅供个人学习&#xff0c;请勿商用&#xff0c;如有侵权请联系删除。 篇幅有限&#xff0c;无法完全展示&#xff0c;喜欢资料可转发评论&#xff0c;私信了解更多信息。

强训之【求最大连续的bit数和最近公共祖先】

目录 1.求最大连续的bit数1.1题目1.2思路1.2.1暴力求解1.2.2 字符串分割求解1.2.3 位运算“与”求解 1.3代码1.3.1暴力求解代码1.3.2字符串分割求解代码1.3.3位运算“与”求解 2.最近公共祖先2.1题目2.2思路2.3代码 3.选择题 1.求最大连续的bit数 1.1题目 链接: link 描述 求…

《花雕学AI》21:ChatGPT能否应对脑筋急转弯?逻辑推理和创造性思维的大考验!

当我们谈到脑筋急转弯时&#xff0c;很多人都会感到兴趣和好奇。脑筋急转弯是一种智力游戏&#xff0c;可以锻炼我们的思维能力以及解决问题的能力。然而&#xff0c;对于许多人来说&#xff0c;脑筋急转弯也是一项相当具有挑战性的任务。在这个过程中&#xff0c;我们需要运用…

RISE with SAP,亚马逊云科技开启全新的SAP现代化之路

在不确定性依然存在的当下&#xff0c;快速进行现代化转型与创新&#xff0c;是企业走向成功的必经之路。而现代化转型与创新对于众多企业而言&#xff0c;意味着对SAP进行现代化改造。实现这一改造&#xff0c;能为企业带来包括创新业务模型、快速响应客户不断变化的需求、增加…

推荐系统数据集之MovieLens

1.概述 MovieLens其实是一个推荐系统和虚拟社区网站&#xff0c;它由美国 Minnesota 大学计算机科学与工程学院的GroupLens项目组创办&#xff0c;是一个非商业性质的、以研究为目的的实验性站点。GroupLens研究组根据MovieLens网站提供的数据制作了MovieLens数据集合&#xff…

带有MCU算法的多功能语音交互芯片,OTA升级语音ic,WTV380-32N

几年来&#xff0c;随着智能家居、安防报警、医疗器械 等领域的快速发展&#xff0c;语音交互技术越来越受到人们的关注和青睐。作为智能硬件的重要组成部分&#xff0c;语音芯片的发展也变得越来越重要&#xff0c;针对这一市场需求&#xff0c;我们推出了一款多功能的语音芯片…

layout布局input框输入中文出现撑开/换行

layout布局input框输入中文出现撑开/换行 问题 element ui组件库中提供了layout布局&#xff0c;但是在使用中出现了一个奇奇怪怪的问题 我想要实现的布局是两个输入框排成一行&#xff0c;行与行之间样式布局不会互相影响 直接上代码&#xff1a; <el-row :gutter&quo…

海康相机通过MVS达不到标称最大帧率的解决办法

目录 1.相机参数设置1.1 取消相机帧率限制1.2 修改相机图像格式1.3 调整相机曝光时间1.4 检查相机数据包大小&#xff08;网口相机特有参数&#xff09;1.5 恢复相机默认参数1.6 相机 ADC 输出位深调整 2.系统环境设置2.1 网口相机设置2.2 USB 相机设置 1.相机参数设置 1.1 取…

pycharm flask断点调试失效

问题描述 在升级本地pycharm为最新版pycharm2023.1后&#xff0c;发现原有的flask项目下的断点怎么都无法进入调试。同时&#xff0c;如果是debug某个py文件是可以正常进入调试的&#xff0c;因此推断这与flask有关。 pycharm&#xff1a;PyCharm 2023.1 (Professional Editio…

STM32HAL库 OLED显示屏的使用

文章目录 前言一、CubeIDE配置OLED显示屏iic引脚二、OLED驱动库1.引入库2.main.c中使用 总结 前言 本文主要讲解hal库配置与0.96寸oled屏的使用。 一、CubeIDE配置OLED显示屏iic引脚 OLED显示屏需要用到iic通信&#xff0c;此处选择了选择pb8为SCL、pb9为SDA 二、OLED驱动…