国产数据库中读写分离实现机制

news2024/11/24 5:04:29

在数据库高可用架构下会存在1主多备的部署，备节点可以根据业务场景分发一部分流量以充分利用资源，并减轻主库的压力，因此在数据库的功能上需要读写分离来实现。

  • 充分利用备节点的资源，提升业务的吞吐量；
  • 防止运维等非业务查询访问主节点导致CPU飙升的场景，进而影响业务正常运行；
  • 在实现上考虑到主备时延过大的情况下，业务的容忍度以及规避措施；
  • 事务的处理上，更新操作在主节点而读在备节点，如何保证事务的一致性？
1、OceanBase数据库

OceanBase数据库的读写分离是由ODP（OceanBase Database Proxy）数据库代理实现的，读写分离就是数据在主节点修改后，数据同步到备节点，备节点提供数据的读取功能。OceanBase数据库支持读写分离到表的Partition级别，这也是原生的分布式数据库的优势。
在OceanBase数据库中使用读写分离功能，需要经过两部分设置：

  1. 设置SQL语句为弱读：所谓弱读是指读请求不要求读到最新的数据。对于正常的SQL为强读，使用弱读需要一定的设置。
  2. 修改路由策略：每个副本都可以提供弱读服务（主副本也可以提供读服务），通过设置路由策略，可以优先选择备副本。
1.1 弱读配置

1）在SQL语句中通过Hint

/*+READ_CONSISTENCY(WEAK)*/配置
select /*+READ_CONSISTENCY(WEAK)*/ * from t1;

2）通过OBProxy配置项obproxy_read_consistency设置

alter proxyconfig set obproxy_read_consistency = 1;

配置项默认值0表示强读、1表示弱读。SQL hint是语句级别的，配置项是实例级别的。通常可以配置多个OBProxy实例，选择其中部分OBProxy开启读配置作为运维查询使用。

1.2 修改路由策略

ODP通过配置项proxy_route_policy修改路由策略，通过设置为follower_first和follower_only可以让弱读请求优先发给备副本：

  • follower_first：优先选择备副本，如果备副本都不可用，选择主副本；
  • follower_only：选择备副本，如果备副本都不可用，断开和客户端的连接。

上述两个策略需要根据业务场景选择

2、PolarDB数据库

PolarDB MySQL版本的集群自带读写分离功能，在PolarDB控制台的数据库连接中配置读写模式，包括只读模式和可读可写模式（自动读写分离）。当配置可读可写模式后，写请求会自动转发到主节点，读请求会自动根据各节点的负载（当前未完成的请求数）转发到主节点或只读节点。

在这里插入图片描述

当客户端通过读写分离地址与数据库后端建立连接后，读写分离中间件会自动与主节点和各个只读节点建立连接。在同一个连接内（同一个session内），读写分离中间件会根据各个数据库节点的数据同步程度，来选择合适的节点，在保证数据正确的基础上（写操作之后的读有正确的结果），实现读写请求的负载均衡。另外，在配置可读可写模式后，可以配置主库是否接受读，当设置为否后，普通的读请求将不再发往主节点。而事务内，一致性要求的读请求仍会被发往主节点，以保证业务需求。另外，当所有只读节点出现故障后，读请求也会发往主节点。

在这里插入图片描述

同时读写分离模块自动对集群内的所有节点进行健康检查，当发现某个节点宕机或者延迟超过阈值（全局一致性读超时时间，取值范围：0~60000，默认为20ms）后，PolarDB将不再分配读请求给该节点，读写请求在剩余的健康节点间进行分配，以此确保单个只读节点发生故障时，不会影响应用的正常访问。当节点被修复后，PolarDB会自动将该节点纳回请求分配体系内。

2.1 请求转发逻辑

在配置了可读可写模式下，SQL语句的转发遵循以下规则：

  • 只发往主节点：DML和DDL操作、未开启事务拆分时所有事务请求、自定义函数、存储过程等；
  • 发往只读节点或主节点：非事务中的读请求、COM_STMT_EXECUTE命令等
  • 发往所有节点：所有系统变量的修改、COM_STMT_EXECUTE命令等

在这里插入图片描述

2.2 基于权重的动态负载均衡

PolarDB在可读可写（自动读写分离）模式下仅支持基于活跃请求数负载均衡的策略，优先选择最小活跃（并发）请求数的节点去路由请求，来保证多个只读节点间的负载均衡。该策略基本可以保证流量根据后端节点的负载均衡的路由到不同的后端节点上，即使后端节点的规格不一致，也能较好的进行负载均衡。

为了满足线上业务负载的多样性，PolarDB后续版本引入了基于权重的动态负载均衡策略，为每个节点配置不同的权重后，在后续的路由过程中，权重和并发请求数会同时作为参考标准去动态的调整最终的路由决策。在控制台“数据库代理服务配置”中，可以为不同的节点配置不同的权重，动态权重越大，节点的优先级越高，路由分发的流量也越大。

3、GaussDB数据库（for MySQL）

GaussDB（for MySQL）在创建数据库后，支持配置读写分离功能，通过代理地址将写请求自动访问主节点，读请求按照读权重配比或者活跃连接数情况分发到各个节点。在使用代理地址时，事务请求都会路由到实例的主节点，不保证非事务读的一致性，业务上有读一致性需求可以封装到事务中，可以使用事务拆分功能对事务中写之前的读请求进行拆分。

在GaussDB数据库控制台的数据库代理页面，新增数据库代理，包括代理模式、一致性级别、路由模式和添加的数据库节点。

  • 代理模式：支持读写模式和只读模式，只读模式下仅支持读请求业务，并且不支持DDL、DML操作和临时表操作；
  • 一致性级别：分为最终一致性和会话一致性，由于主备之间存在复制延迟，可能会导致每次读结果存在差异，默认情况只能保证最终一致性。当设置会话一致性后，保证在同一个会话内，保证每次读请求都是上一次更新操作后的结果。
  • 路由模式：包括权重负载和负载均衡，权重负载是根据设置的读权重比较分发请求，负载均衡是根据数据库节点的活跃连接数情况进行读请求分发。

在这里插入图片描述

另外，在SQL中通过hint方式指定发往主节点或只读节点。需要注意的是Hint注释仅作为路由建议，非只读SQL、事务中的场景不能强制路由到只读节点。

  • /FORCE_MASTER/强制路由到主节点；
  • /FORCE_SLAVE/强制路由到只读节点；
4、GoldenDB数据库

GoldenDB数据库的读写分离策略由连接实例级别的策略+语句级别的策略共同决定：

  • 在连接实例的服务端口进行配置，包括不开启读写分离、本地同城策略以及异地策略，其中本地同城策略需要配置权重；
  • SQL语句级别的读写分离策略，通过在SQL语句中增加hint实现，hint包括READMASTER、READBALANCE和READSLAVE

在这里插入图片描述

不同策略的组合如表所示：

在这里插入图片描述

另外，为避免只读数据节点读取的数据长时间和主数据节点不一致，当一个只读数据节点的延迟时间超过设置的延迟阈值，则不论该只读数据节点的读权重是多少，读请求都不会转发至该只读数据节点。在新版本的读写分离配置中，增加了“是否可读主”的配置，选择否后，当主备时延超过阈值时，依旧不会读主节点。

需要注意的是在多分片的实例中，当CN节点配置参数force_read_split后，开启读写分离时，显示的开启事务后，为了保证事务操作的一致性，事务内是不允许更新操作的，只允许只读事务，否则会提示“read-only transaction”的报错。

5、TDSQL数据库（for MySQL）

TDSQL数据库默认支持读写分离功能，包括3种读写分离的配置操作，其中非只读账号由参数gateway.mode.single_backend.rw_split控制：

  • 创建只读账号：创建账号时标记为只读，系统将根据只读策略将读请求发往备机，只读策略的配置分为以下场景：
    • 1：优先选择备机进行读操作，如果备机的延迟都大于设置的延迟，则从主机读取。
    • 2：只选择备机进行读操作，如果所有的备机都大于设置的延迟，则直接报错。
    • 3：只选择备机进行读取，忽略延迟参数，一般用于拉取binlog同步。
  • slave注释：参数rw_split=1，在SQL中增加slave模式的hint标签，将指定的SQL发往备机。比如在SQL中添加/slave/标记，该SQL会发送给备机。注意在mysql客户端使用时添加-c参数来解析注释，/slave/必须为小写，并且前后无空格。
//主机读//
select * from emp order by sal，deptno desc；
//从机读//
/*slave*/ select * from emp order by sal，deptno desc；
  • 全局自动读写分离：参数rw_split=2，配置该参数后会将读请求自动发送所有的备机。如果备机延迟较大，读到的数据可能会有延迟。如果是在事务中的读请求或者autocommit=0, begin/commit/rollback …等情况下，select也会发到主节点。

在这里插入图片描述

官方建议使用第1种和第2种方式配置读写分离，第三种配置方式会有一定程度的性能损耗。

6、OpenGauss数据库

openGauss数据库通过JDBC连接配置，支持一主多备情况下的读写分离，当URL中配置服务器地址时，可以通过URL中的属性标示targetServerType来区分JDBC返回的连接是否区分主机和备机。

  • Master：尝试连接到URL连接串中的主节点，如果找不到就抛出异常；
  • Slave：尝试连接到URL连接串中的备节点，如果找不到就抛出异常；
  • preferSlave：尝试连接到URL连接串中的备数据节点（如果有可用的话），否则连接到主数据节点；
  • any：尝试连接URL连接串中的任何一个数据节点，默认为“any”
##优先连接到备节点
jdbc:opengauss://node1,node2,node3/database?autoBalance=roundrobin&targetServerType=preferSlave
##只连接备机进行只读操作
jdbc:opengauss://node1,node2,node3/database?autoBalance=roundrobin&targetServerType=slave
##只连接主机进行读写操作
jdbc:opengauss://node1,node2,node3/database?autoBalance=false&targetServerType=master

OpenGauss数据库在一主多备的架构下，当主节点宕机的时候通过自主寻主的机制，找到主备切换后的新主。通过JDBC连接中的配置参数hostRecheckSecond，当主机状态发生更改时再次检查主机状态，快速地找到新的主机并恢复连接，默认值为10秒。JDBC连接流程如下：

在这里插入图片描述

  1. 设置参数开启targetServerType=xx。
  2. 判断输入的主机列表是否已经加入了候选主机列表中，如果不存在hostStatusMap中并且更新时间间隔超过10s（hostRecheckSecond）同时HostStatus状态也和现在一致，这时直接加入候选主机列表。
  3. 对列表进行遍历查找对应的节点信息，如果找到了，通过knownStatus查看状态是否一致，一致就执行sql查询语句，之后更新全局变量hostStatusMap及局部变量konwnStatus中存储。
  4. 当前操作的节点状态如果与用户选择的节点状态一致则返回主机连接，之后用户可以根据连接进行读或者写操作。
7、TiDB数据库

在TiDB数据库中读写分离通过follower read机制实现的，follower read是将TiKV读负载从Region的leader副本上offload到follower副本的负载均衡机制，以提升TiDB集群的吞吐能力并降低leader负载。TiDB的Follower Read功能开启通过变量tidb_replica_read配置：

set [session | global] tidb_replica_read = '<目标值>';
  • leader：默认值，将所有的读操作都发送给leader副本处理。
  • follower ：选择Region的follower副本完成所有的数据读操作。
  • leader-and-follower：可以选择任意副本来执行读操作，此时读请求会在leader和follower之间负载均衡。
  • prefer-leader：优先选择leader副本执行读操作。当leader副本的处理速度明显变慢时，例如由于磁盘或网络性能抖动，TiDB将选择其他可用的follower副本来执行读操作。
  • closest-replicas：优先选择分布在同一可用区的副本执行读操作，对应的副本可以是leader或follower。如果同一可用区内没有副本分布，则会从leader执行读操作。
  • closest-adaptive：当一个读请求的预估返回结果大于或等于变量 tidb_adaptive_closest_read_threshold 的值时，TiDB会优先选择分布在同一可用区的副本执行读操作。
  • learner：选择learner副本执行读取操作。在读取时，如果当前Region没有learner副本，TiDB会报错。

Tidb数据库的Follower Read在实现机制上是follower节点使用Raft ReadIndex协议确保当前读请求可以读到当前leader上已经commit的最新数据。因此在TiDB层面，Follower Read只需根据负载均衡策略将某个Region的读取请求发送到follower节点。

8、总结

以上是几种国产数据库的读写分离实现，各个数据库厂商根据不同的业务场景在不同程度上实现了读写分离的功能，对比如下所示：

在这里插入图片描述

总体上而言，PolarDB、GaussDB和GoldenDB在读写分离的功能上更为完善，考虑到实例级别、SQL级别以及对事务的影响，还有在主备时延超过阈值时的处理。

参考资料：

  1. https://www.oceanbase.com/docs/common-oceanbase-database-cn-1000000000819334
  2. https://help.aliyun.com/zh/polardb/polardb-for-mysql/user-guide/read-or-write-splitting-2
  3. https://support.huaweicloud.com/usermanual-gaussdbformysql/gaussdbformysql_11_0017.html
  4. https://www.goldendb.com/#/docsIndex/docs/instruction_TenantManagement
  5. https://cloud.tencent.com/privatecloud/document/123248530626207744/12325495623387545
  6. https://zhuanlan.zhihu.com/p/445545196
  7. https://docs.pingcap.com/zh/tidb/stable/follower-read#follower-read

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1840916.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

C++回溯算法(2)

C++回溯算法(2)

棋盘问题 #include<bits/stdc.h> using namespace std; void func(int,int); bool tf(int,int); void c(); int n,k; char a[110][110]; int cnt20; int main() {cin>>n>>k;for(int i0;i<n;i){for(int j0;j<n;j){cin>>a[i][j];}}func(0,0);cout…
阅读更多...
win10远程桌面端口，win10操作系统怎么修改远程桌面端口和共享端口号

win10远程桌面端口，win10操作系统怎么修改远程桌面端口和共享端口号

在Win10操作系统中&#xff0c;远程桌面端口和共享端口号的修改是两项重要的网络配置任务&#xff0c;它们对于提升系统的安全性和灵活性具有重要意义。以下将分别介绍如何在Win10中修改这两个端口号。 一、Win10操作系统远程桌面端口的修改 远程桌面端口的修改主要涉及到注册…
阅读更多...
13.1.资源清单的管理工具-helm

13.1.资源清单的管理工具-helm

目录 一、helm的介绍 1.helm的价值概述 2.helm的关键名词 二、安装部署helm 1.解压安装包并设置全局命令 2.添加命令补全 三、使用helm部署服务管理 1.使用helm创建chart 1.1创建工作目录 1.2.helm创建chart 2.响应式创建名称空间 3.安装chart到名称空间 4.使用hel…
阅读更多...
Unity3D插件开发教程（四）：获取地址组件

Unity3D插件开发教程（四）：获取地址组件

Unity3D插件开发教程&#xff08;四&#xff09;&#xff1a;获取地址组件 前言 前几天做导出安装包插件时&#xff0c;遇到了个问题&#xff0c;我需要获取地址&#xff0c;可是每次都要手动填入&#xff08;复制粘贴&#xff09;地址是个很费时不讨好的事&#xff0c;所以我…
阅读更多...
在 Ubuntu 18.04.4 LTS上安装 netmap

在 Ubuntu 18.04.4 LTS上安装 netmap

文章目录 步骤运行配置文件编译安装使用netmap 步骤 sudo su sudo apt-get update sudo apt install build-essential sudo apt-get install -y git sudo apt-get install -y linux-headers-$(uname -r)rootVM-20-6-ubuntu:/home/ubuntu/netmap/LINUX# git clone https://gith…
阅读更多...
3dmax怎么渲染又快又清晰？

3dmax怎么渲染又快又清晰？

在3ds Max中&#xff0c;追求快速且清晰的渲染效果是每个设计师的目标。云渲染技术的出现&#xff0c;为这一目标提供了强大的支持。通过云渲染&#xff0c;设计师能够利用远程服务器的强大计算能力&#xff0c;实现快速渲染&#xff0c;同时保持图像的高清晰度。 一、3dmax怎么…
阅读更多...
RAM + 串口的简单应用

RAM + 串口的简单应用

REVIEW 之前已经学习过&#xff1a; RAM&#xff1a; RAM IP核配置_ip核 ram配置-CSDN博客 串口接收&#xff1a;Vivado 串口接收优化-CSDN博客 串口发送&#xff1a;Vivado 串口通信(UART)------串口发送_vivado串口收发实验-CSDN博客 按键&#xff1a;基于状态机的按键消抖实…
阅读更多...
MTU 和 MSS 关系、 IP分片、TCP分段

MTU 和 MSS 关系、 IP分片、TCP分段

从四层模型&#xff1a;链路层&#xff0c;网络层&#xff0c;传输层&#xff0c;应用层说 一 、以太网V2格式数据帧 : 链路层 Destination Source Type DataAndPad FCS 6 6 2 46~1500 4 二、IP: 网络层 0 1 …
阅读更多...
MySQL8，Navicat能登陆成功，密码却忘记了

MySQL8，Navicat能登陆成功，密码却忘记了

执行成功的图&#xff1a; 以下为步骤&#xff1a;本文一共8个简单步骤。 环境&#xff1a;mysql8、window10、navicat11 1、打开本地电脑window10的命令窗&#xff08;俗称黑窗口&#xff09;&#xff0c;windowR 2、输入regegit&#xff0c;回车&#xff0c;打开注册表 3、…
阅读更多...
哪里可以姓名设计免费签名？6个软件帮助你轻松设计签名

哪里可以姓名设计免费签名？6个软件帮助你轻松设计签名

哪里可以姓名设计免费签名&#xff1f;6个软件帮助你轻松设计签名 这里有六个免费的软件和在线工具可以帮助您设计个性化的签名&#xff1a; 1.一键logo设计&#xff1a;这是一个功能强大且易于使用的设计工具&#xff0c;提供了丰富的签名设计模板和各种字体效果供选择。您可…
阅读更多...
Kubernetes入门-Kubernetes集群构成

Kubernetes入门-Kubernetes集群构成

目录 前言 控制面板节点与工作节点 控制面板节点 工作节点 被托管的Kubernetes 用kubectl命令行工具管理Kubernetes 前言 前面说过&#xff0c;Kubernetes是云的操作系统顾名思义&#xff0c;它位于应用和基础设施之间Kubernetes运行在基础设施上&#xff0c;而应用运行…
阅读更多...
手机录屏声音怎么录？2个小妙招教会你

手机录屏声音怎么录？2个小妙招教会你

手机录制好的视频怎么没有声音&#xff1f;你是否也遇到了这个难题&#xff1f;在日常生活中&#xff0c;手机录屏功能已经成为我们生活和工作中的得力助手。而录屏的声音&#xff0c;作为录屏功能的重要组成部分&#xff0c;更是为我们的录制体验增添了不少色彩。那么&#xf…
阅读更多...
一文带你搞定Linux开发环境配置

一文带你搞定Linux开发环境配置

Linux开发必备 万事先更新 sudo apt update && sudo apt upgrade安装gcc工具链 sudo apt install build-essential像mysql、nacos等等建议装docker里&#xff0c;数据挂载到宿主机&#xff0c;日志别挂&#xff0c;直接装本机哪天日志塞满了就要开始重装系统了 以下…
阅读更多...
B端系统的UI框架选择，不要输在了起跑线，如何破？

B端系统的UI框架选择，不要输在了起跑线，如何破？

所谓成也框架、败也框架&#xff0c;框架就是这么的优点和缺点鲜明&#xff0c;市面上的框架多如牛毛&#xff0c;谁家的最优秀呢&#xff1f;为何框架搞出来的UI界面同质化呢&#xff0c;如何避免这种情况&#xff0c;如何在框架的基础上进一步提升颜值和体验呢&#xff0c;本…
阅读更多...
Go语言day1

Go语言day1

下载go语言的安装程序&#xff1a; All releases - The Go Programming Language 配置go语言的环境变量&#xff1a; 写第一个go语言 在E:\go_workspace当前窗口使用cmd命令: 输入 go run test.go
阅读更多...
茂名石油行业：可燃气体报警器校准检测守护安全新防线

茂名石油行业：可燃气体报警器校准检测守护安全新防线

茂名&#xff0c;作为广东省的重要石化基地&#xff0c;其石油行业的发展一直备受关注。 随着石油产业的蓬勃发展&#xff0c;气体泄露的风险也日渐突出&#xff0c;给企业的生产安全和员工的生命安全带来了不小的挑战。 在这一背景下&#xff0c;可燃气体报警器的重要性日益…
阅读更多...
6月19日作业

6月19日作业

思维导图 实现服务器连接多个客户端局域网 #include "widget.h" #include "ui_widget.h"Widget::Widget(QWidget *parent): QWidget(parent), ui(new Ui::Widget),sever(new QTcpServer(this)) {ui->setupUi(this); }Widget::~Widget() {delete ui; }v…
阅读更多...
Java 开发面试题精选：RocketMQ 一篇全搞定

Java 开发面试题精选：RocketMQ 一篇全搞定

前言 RocketMQ作为一个高性能、高可用的分布式消息和流处理平台&#xff0c;广泛应用于分布式系统中的解耦、异步通信和数据流处理场景。这篇文章我精选了一些关于RockerMQ面试题目&#xff0c;这些问题涵盖了RocketMQ的所有关键知识点&#xff0c;从基本概念到高级应用&#…
阅读更多...
使用Flink接受kafka中的数据并对数据进行ETL

使用Flink接受kafka中的数据并对数据进行ETL

做这个开发是因为&#xff1a;在实际开发操作中&#xff0c;你的kafka主题中会有大量的数据但是需求并不需要所有数据&#xff0c;所有我们要对数据进行清洗&#xff0c;把需要的数据保存在flink流中&#xff0c;为下流的开发做好数据保障&#xff01; 首先创建工具类 再写一…
阅读更多...
类注释规范

类注释规范

类注释规范 1.1.1 模板配置 模板路径&#xff1a;File–>settings–>Editor–>File and Code Templates–>Includes–>File Header  N A M E &#xff1a;设置类名&#xff0c;与下面的 {NAME}&#xff1a;设置类名&#xff0c;与下面的 NAME&#xff1a;设…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023