Apache Seata Raft模式配置中心

news2024/11/30 4:53:44

本文来自 Apache Seata官方文档，欢迎访问官网，查看更多深度文章。
本文来自 Apache Seata官方文档，欢迎访问官网，查看更多深度文章。

Apache Seata Raft模式配置中心

title: Seata Raft模式配置中心
author: 蒋奕晨-清华大学，Seata 开源之夏学生参与者
description: 在本文中，我将分享基于Raft和RocksDB设计的Seata配置中心和使用方式。
date: 2024/09/19
keywords: [seata,分布式事务,配置中心,Raft,RocksDB]

1. 项目背景

目前seata支持丰富的第三方配置中心，但是考虑使用的便捷性同时为了降低使用seata的门槛，在seata-server利用现有的sofa-jraft+rocksdb构建一个配置中心功能，seata-client直接与seata-server通信,获取seata相关的配置，不需要再去第三方配置中心读取，实现配置中心自闭环。

2. 设计说明

2.1 配置中心

在现有的第三方配置中心实现中，Client端和Server端对于配置中心是解耦的，Client端和Server端直接通过Configuration实例获取配置项，且Configuration对于Client端和Server端的初始化行为是一致的，都是先连接到配置中心中间件然后获取配置，以及添加监听器等。
在这里插入图片描述

当使用Raft的实现配置中心后，由于所有的配置项信息是保存在Server端的，因此初始化Configuration实例时对于Client端和Server端的行为是不一致的。

此外为保证和原来配置中心的逻辑相同，Client端和Server端获取配置项依旧统一从RaftConfiguration实例中获取，不直接和RocksDB进行交互。

在这里插入图片描述

在这里插入图片描述

RaftConfiguration分为Server端和Client端，按照启动环境返回不同配置实例。

public class RaftConfigurationProvider implements ConfigurationProvider {
    @Override
    public Configuration provide() {
        String applicationType = System.getProperty(APPLICATION_TYPE_KEY);
        if (APPLICATION_TYPE_SERVER.equals(applicationType)){
            return RaftConfigurationServer.getInstance();
        }else{
            return RaftConfigurationClient.getInstance();
        }
    }
}

@SpringBootApplication(scanBasePackages = {"org.apache.seata"})
public class ServerApplication {
    public static void main(String[] args) throws IOException {
        System.setProperty(APPLICATION_TYPE_KEY, APPLICATION_TYPE_SERVER);
        // run the spring-boot application
        SpringApplication.run(ServerApplication.class, args);
    }
}

2.2 配置存储模块

在这里插入图片描述

抽象设计

为了未来支持和拓展更多的KV内存键值对数据库（如LevelDB，Caffeine），现抽象一个ConfigStoreManager接口以及抽象类AbstractConfigStoreManager，提供如下公共方法：

  • Get：获取指定namespace，dataId中名为key的单一配置项
  • GetAll：获取指定namespace，dataId中全部配置项
  • Put：新增/修改指定namespace，dataId中某一配置项<key,value>
  • Delete：删除指定namespace，dataId中名为key的配置项
  • DeleteAll：删除指定namespace，dataId中全部配置项
  • Clear：清空所有配置
  • GetAllNamespaces：获取所有命名空间
  • GetAllDataIds：获取指定namespace下的所有配置dataIds
  • …

ConfigStoreManagerFactory、ConfigStoreManagerProvider.java：使用SPI机制实现的配置存储工厂类和提供者。

配置监听

Server端和Client端配置中心需要监听配置项的变化。

在Server端，由于配置本身存储在Server端，我们直接拦截配置变更的方法即可。我们在抽象接口中定义了addConfigListener、removeConfigListener方法用户添加和删除配置监听器。监听的逻辑由具体的实现类负责。

在RocksDBConfigStoreManager中，定义了notifyConfigChange方法来触发监听，当调用写相关操作时（如Put、Delete)触发该方法来通知配置的变更。从而触发回调事件通知Server端配置中心。

在Client端，我们定义了配置版本号和长连接机制来实现配置的监听。具体的Client端在启动时，与Server建立长连接并定期刷新该连接。Server端内部维护一个watchMap存放所有客户端的监听信息。每当Raft状态机执行配置更新的操作会发送一个ApplicationEvent事件，该事件被ClusterConfigWatcherManager监听，从而通知watchMap中所有客户端配置变更。此外使用了配置版本号来优化实现，在建立长连接时，客户端需要传入版本号，当版本号低于Server端对应配置的版本号时直接返回最新配置。反之，若Server端配置版本号低于本地，则Client端认为该Server的配置已经过期（可能宕机或集群发生脑裂）会重试请求集群中其他的节点。

多租户方案

在Seata-Server端存放配置时，需要实现多租户的配置隔离，要求不同租户间的配置是相互独立、物理/逻辑上是隔离的。

首先调研了业内使用RocksDB的开源项目的实现，总结如下。

  1. JRaft，单RocksDB实例，两个列族，一个用来存Raft条目，一个用来存元信息。
  2. TiKV，两个RocksDB实例，分别为raftDB，kvDB。kvDB中使用了多个列族存放元数据，用户数据，锁数据等。
  3. Pika，为每个数据结构（String，Hash，List，Set，Zset等）创建了一个RocksDB实例，每个RocksDB实例分别用多个列族存储数据，比如Data、Meta

考虑到无法提前知道租户数量（无法在启动时创建指定数量的RocksDB)，因此使用单个RocksDB实例，多列族存储。不同租户使用namespace区分，在Rocksdb中通过列族（ColumnFamily）进行逻辑隔离，一个namespace对应一个列族。列族相当于关系型数据库中表的概念。在配置的增删改查时指定namespace操作具体的列族，实现多租户的隔离。此外名为config_version的列族是内置的，用于对现有的配置进行版本号跟踪。
在这里插入图片描述

3. 使用方式

3.0 准备配置文件

首先准备好配置文件，具体可以参考：配置文件示例。
并将配置文件置于Seata server项目资源目录下。

3.1 Server端配置

在 application.yml 中加入Raft配置中心配置,其余配置参考

config:
  # support: nacos, consul, apollo, zk, etcd3, raft
  type: raft
  raft:
    db:
      type: rocksdb # db类型，目前只支持rocksdb
      dir: configStore  # db文件存储目录
      destroy-on-shutdown: false #应用关闭时是否清除db文件, 默认false
      namespace: 'default' # 命名空间
      dataId: 'seata.properties' # 配置文件id
  file:
    name: 'file' # 初始配置文件名

server:
  raft:
    group: default #此值代表该raft集群的group，client的事务分组对应的值要与之对应
    server-addr: 192.168.241.1:9091, 192.168.241.2:9091 ,192.168.241.3:9091 # 其他Raft节点的ip和端口，端口为该节点的netty端口+1000，默认netty端口为8091
    snapshot-interval: 600 # 600秒做一次数据的快照，以便raftlog的快速滚动，但是每次做快照如果内存中事务数据过多会导致每600秒产生一次业务rt的抖动，但是对于故障恢复比较友好，重启节点较快，可以调整为30分钟，1小时都行，具体按业务来，可以自行压测看看是否有抖动，在rt抖动和故障恢复中自行找个平衡点
    apply-batch: 32 # 最多批量32次动作做一次提交raftlog
    max-append-bufferSize: 262144 #日志存储缓冲区最大大小，默认256K
    max-replicator-inflight-msgs: 256 #在启用 pipeline 请求情况下，最大 in-flight 请求数，默认256
    disruptor-buffer-size: 16384 #内部 disruptor buffer 大小，如果是写入吞吐量较高场景，需要适当调高该值，默认 16384
    election-timeout-ms: 1000 #超过多久没有leader的心跳开始重选举
    reporter-enabled: false # raft自身的监控是否开启
    reporter-initial-delay: 60 # 监控的区间间隔
    serialization: jackson # 序列化方式，不要改动
    compressor: none # raftlog的压缩方式，如gzip，zstd等
    sync: true # raft日志的刷盘方式，默认是同步刷盘

在Seata-Server下，需要一个初始配置文件作为Server端的配置文件（也就是上一步所述的配置文件），file.name配置项需要和该文件名保持一致。在Server初次启动时，会将该配置文件作为Raft配置中心的初始配置。目前支持的文件类型有：conf、yaml、properties、txt。

注意：Raft集群内节点的初始配置文件需要保持一致。

3.2 控制台配置管理界面

当Server端使用Raft模式的配置中心后，可通过在Seata Console中内置的配置管理页面，进行配置中心的管理。用户可以通过在该页面对存储于Seata-Server集群的配置进行增删改查，注意该操作是对于集群生效的，因此可以在集群中的任意节点进行修改，所有操作会通过Raft在集群内进行同步。

注意：该配置管理页面仅在配置中心为Raft模式下开启，对其他类型的配置中心不开放。

3.2.1 配置隔离

Raft配置中心提供了namespace命名空间的机制来实现多租户的配置隔离。不同namespace下的配置通过底层存储机制实现逻辑隔离。在同一namespace下可以有多套配置文件，不同的配置文件用dataId进行区分。一套配置以namespace和dataId来唯一标识。

例如：

  • namespace=default（默认），dataId=seata.properties（默认）

  • namespace=dev，dataId=seata-server.properties，dataId=seata-client.yaml

  • namespace=prop，dataId=seata-server.properties，dataId=seata-client.txt

在这里插入图片描述

3.2.2 配置上传

在Sever启动时，Server端配置的初始文件会自动上传到配置中心。此外用户还可以通过点击"上传（Upload）"按钮上传配置文件到指定的namespace和dataId。
当配置上传到Server端配置中心后，Client端就可以通过namespace和dataId来获取具体的配置文件了。
在这里插入图片描述

目前支持上传的配置文件类型有：txt、text、yaml、properties类型。具体的配置文件可参考示例：配置文件示例

3.2.3 配置查询

选择namespace和dataId后，可点击"搜索（Search）"按钮查询该配置下的所有配置项信息。

配置以配置项列表的形式呈现，每一行都代表一个配置项，以Key和Value展示。

在这里插入图片描述

3.2.4 配置删除

当不再需要某一套配置时，用户可以删除指定namespace和dataId的配置数据。

注意该操作一旦完成，会清空该配置下的所有配置项信息，且无法恢复。请避免删除正在使用中的配置。

在这里插入图片描述

3.2.5 配置修改

在配置项列表中，用户可以对该配置下的某个配置项进行新增、修改或删除操作。操作成功后Server端和Client端会及时收到配置变更，从而获取到最新的值。

  • 新增：在当前配置下添加配置项。

在这里插入图片描述

  • 修改：修改指定配置项的值。

在这里插入图片描述

  • 删除：删除指定的配置项。

在这里插入图片描述

3.3 Client端配置

Client需要添加如下的配置项。其中raft.server-addr需要和Server端Raft集群的IP地址列表一致。

config:
    type: raft # Raft模式
    raft:
        server-addr: 192.168.241.1:7091, 192.168.241.2:7091 ,192.168.241.3:7091 # 配置raft相关元数据的获取地址
        username: 'seata' # 鉴权
        password: 'seata' # 鉴权
        db:
            namespace: 'default' # 命名空间
            dataId: 'seata.properties' # 配置文件Id

此外，client需要引入HttpClient依赖，用于通过Http请求向Seata-Server集群获取配置信息

<dependency>
    <groupId>org.apache.httpcomponents</groupId>
    <artifactId>httpclient</artifactId>
</dependency>

配置完成后，Client应用启动时就会从raft.server-addr配置的Server中订阅并获取指定namespace和dataId的配置，并通过监听机制在配置发生变更时获取获取最新配置。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2218394.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

解决在Windows中安装tensorflow2.10无法检测到GPU的问题

解决在Windows中安装tensorflow2.10无法检测到GPU的问题

解决在Windows中安装tensorflow2.10无法检测到GPU的问题 官方给出的Windows本地安装方式 更新显卡驱动到最新。安装anaconda或miniconda作为python环境的管理工具。创建新的环境tf&#xff1a;conda create --name tf python3.9&#xff0c;然后进入改环境&#xff1a;conda …
阅读更多...
汇编验证并跟踪求平均数程序

汇编验证并跟踪求平均数程序

一.实验目的 在数据段中定义一个5字节数据的数组array&#xff0c;把它们看做有符号数并求它们的平均数&#xff0c;结果保存在avg内存单元。 二.实验代码&#xff08;dosbox&#xff09; ;*************************************************************** assume ds:data,…
阅读更多...
最近AI产品开发的热点在什么领域？

最近AI产品开发的热点在什么领域？

AI技术发展可谓是日新月异，头部AI公司的研发方向也成为了行业的风向标。然而，与以往不同的是，这一波AI浪潮的热点不仅仅停留在技术本身，而是更注重实际应用场景的落地。过去，我们常说“先有场景再去想办法”，而如今，AI技术的发展却呈现出“先有技术再找场景”的趋势。因…
阅读更多...
RTSP流图片采样助手（yolov5）

RTSP流图片采样助手（yolov5）

在监控和视频分析领域&#xff0c;实时采样视频流中的图像数据是十分重要的。本文将介绍一个基于Python和Tkinter构建的RTSP流图片采样助手的设计与实现&#xff0c;旨在简化RTSP流的采样过程&#xff0c;并支持根据用户定义的特殊标签进行筛选。 项目概述 该项目的主要功能包…
阅读更多...
文章解读与仿真程序复现思路——电网技术EI\CSCD\北大核心《基于AGCN-LSTM模型的海上风电场功率概率预测 》

文章解读与仿真程序复现思路——电网技术EI\CSCD\北大核心《基于AGCN-LSTM模型的海上风电场功率概率预测 》

本专栏栏目提供文章与程序复现思路&#xff0c;具体已有的论文与论文源程序可翻阅本博主免费的专栏栏目《论文与完整程序》 论文与完整源程序_电网论文源程序的博客-CSDN博客https://blog.csdn.net/liang674027206/category_12531414.html 电网论文源程序-CSDN博客电网论文源…
阅读更多...
时序数据库 TDengine 支持集成开源的物联网平台 ThingsBoard

时序数据库 TDengine 支持集成开源的物联网平台 ThingsBoard

Thingsboard 中“设备配置”和“设备”的关系是一对多的关系&#xff0c;通过设备配置为每个设备设置不同的配置&#xff0c;每个设备都会有一个与其关联的设备配置文件。等等&#xff0c;这不就是TDengine 中超级表的概念&#xff1a; 超级表是一种特殊的表结构&#xff0c;用…
阅读更多...
分布式ID多种生成方式

分布式ID多种生成方式

分布式ID 雪花算法&#xff08;时间戳41机器编号10自增序列号10&#xff09; 作用&#xff1a;希望ID按照时间进行有序生成 原理&#xff1a; 即一台带有编号的服务器在毫秒级时间戳内生成带有自增序号的ID,这个ID保证了自增性和唯一性 雪花算法根据结构的生成ID个数的上线时…
阅读更多...
密码学原理

密码学原理

1.1 加密算法 Tags: 1、加密算法分类 2、对称算法 <原理、特征、算法> 3、非对称算法 <原理、特征、算法> 4、对称算法vs非对称算法 <结合体> 1、加密算法概述&#xff1a; 用于对用户数据进行加密&#xff0c;常用算法有DES、3DES、AES、RSA、DH算法。 根据…
阅读更多...
循序渐进丨在 MogDB 数据库中实现 Oracle ASH能力

循序渐进丨在 MogDB 数据库中实现 Oracle ASH能力

我们都知道&#xff0c;当 Oracle 数据库出现性能故障后&#xff0c;一般会在线上实时诊断数据库性能问题&#xff0c;特别是资源突然打高的场景&#xff0c;这个时候用到ASH的数据&#xff0c;就能很大程度上准确定位问题所在。 Oracle ASH 在 Oracle 数据库中&#xff0c;实…
阅读更多...
E-R网络

E-R网络

一、ER网络的基本性质 ER网络的生成方式 定义&#xff1a;一个随机图是由N个节点构成并且每对节点之间的连接概率为p G(N,L)模型&#xff1a; 一个随机图由N个节点构成&#xff0c;并且有L条连边随机放置在L对节点之间&#xff08;不出现重边与自环&#xff09; G(N,p)模型…
阅读更多...
利用移动式三维扫描技术创建考古文物的彩色纹理网格【上海沪敖3D】

利用移动式三维扫描技术创建考古文物的彩色纹理网格【上海沪敖3D】

文章来源于蔡司工业质量解决方案&#xff0c;作者蔡司工业质量 在考古环境中&#xff0c;三维扫描技术应用广泛&#xff0c;如存档、保存、复制和分享&#xff08;包括实体和虚拟形式&#xff09;。 文中&#xff0c;通过真实的扫描案例&#xff0c;您将了解到三维光学解决方案…
阅读更多...
微信小程序绘制轨迹

微信小程序绘制轨迹

1、map | uni-app官网 根据官网描述&#xff1a;通过从数据库获取POI数据&#xff0c;并通过 uni-id-common 内的路线规划API&#xff0c;计算路线、距离、时间。 2、 <map style"width:100%;height:96%;" id"myMap" :scale"scale" :longi…
阅读更多...
打包使用pythn编写的maya插件，使用pyeal打包

打包使用pythn编写的maya插件，使用pyeal打包

1.安装python,注意版本一定要和maya上面的python解释器版本一致 2.安装pyeal使用pycharm或者maya自带的python解释器mayapy.exe 3.如果有别的库&#xff0c;下载安装到你需要的文件夹中&#xff1a; 使用mayapy: "D:\AnZhuangBao\maya2022\2022\maya2022AZ\Maya2022\bin\m…
阅读更多...
【华为HCIP实战课程十四】OSPF网络中LSA过滤，网络工程师

【华为HCIP实战课程十四】OSPF网络中LSA过滤，网络工程师

一、3类LSA过滤以及汇总 我们查看SW3的路由到达R4的lo0下一跳是R1的接口IP 10.1.15.1 我们在SW3上查看3类汇总LSA： SW3的3类汇总LSA可以看到ABR R1和R5到达R4的lo0的度量值分别为48和96，因此SW3到达R4的lo0的地址为48+1=49 和 96+1=97, 因此会显示49的cost,SW3的下一跳为R1的…
阅读更多...
word怎么清除格式，Word一键清除所有格式教程

word怎么清除格式，Word一键清除所有格式教程

你是否曾在编辑Word文档时遇到过复制内容时格式混乱的情况?别担心&#xff0c;这只需要清除一下格式就可以了&#xff0c;很多朋友还不知道word怎么清除格式&#xff0c;下面小编就来给大家讲一讲word一键清除所有格式的方法教程&#xff0c;操作非常简单&#xff0c;有需要的…
阅读更多...
使用短效IP池的优势是什么？

使用短效IP池的优势是什么？

短效IP池作为代理IP服务中一种独特的资源管理方式&#xff0c;其应用已经在数据采集、市场分析和网络安全等多个领域中展示出强大的功能。尽管“短效”听起来似乎意味着某种限制&#xff0c;然而在某些特定的应用场景下&#xff0c;短效IP池却提供了无可比拟的优势。本文将详细…
阅读更多...
流量PID控制(开度前馈量计算+辅助PID）

流量PID控制(开度前馈量计算+辅助PID）

和流体流速(瞬时流量)相关的计算请参考下面文章链接： 1、PLC通过伯努利方程近似计算水箱流量 PLC通过伯努利方程近似计算水箱流量(FC)-CSDN博客文章浏览阅读1.6k次。本文介绍了如何使用PLC通过伯努利方程近似计算水箱中的液体流量，主要涉及流量计算、模型验证、梯形图编程及…
阅读更多...
R语言机器学习算法实战系列（六）K-邻近算法 (K-Nearest Neighbors)

R语言机器学习算法实战系列（六）K-邻近算法 (K-Nearest Neighbors)

禁止商业或二改转载，仅供自学使用，侵权必究，如需截取部分内容请后台联系作者! 文章目录 介绍教程下载数据加载R包导入数据数据预处理数据描述数据切割调节参数构建模型预测测试数据评估模型模型准确性混淆矩阵模型评估指标ROC CurvePRC Curve保存模型总结系统信息介绍 K-邻…
阅读更多...
AI创新驱动教育：科技革命下的教育转型

AI创新驱动教育：科技革命下的教育转型

日前&#xff0c;2024教育装备创新大会在杭州市余杭区举行&#xff0c;会上集中展示了AI技术如何赋能教学并深入探讨了其影响。AI技术正在以前所未有的力度&#xff0c;引领教育步入智能新时代&#xff0c;成为教育改革创新的催化剂。 在国家政策的积极推动下&#xff0c;AI技…
阅读更多...
tomcat catalina log 出现乱码（SpringMvc）

tomcat catalina log 出现乱码（SpringMvc）

如下图所示&#xff1a; 解决方法&#xff1a; 找到tomcat的conf文件夹&#xff0c;打开logging.properties&#xff0c;把最后一个UTF-8改成GBK就可以啦 改正后&#xff1a;
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023