开发经验总结: 读写分离简单实现

news2024/11/16 9:29:32

背景

file

使用mysql的代理中间件，某些接口如果主从同步延迟大，容易出现逻辑问题。所以程序中没有直接使用这个中间件。

依赖程序逻辑，如果有一些接口可以走读库，需要一个可以显示指定读库的方式来连接读库，降低主库的压力。

所以需要一个能配置多个数据源，通过注解或者代码方式设置读还是写数据源的方法。

实现方式

使用MybatisPlus的多数据源切换的能力。

github地址： https://github.com/baomidou/dynamic-datasource

已经封装好了。直接使用就行。

介绍

dynamic-datasource-spring-boot-starter 是一个基于springboot的快速集成多数据源的启动器。

其支持 Jdk 1.7+, SpringBoot 1.5.x 2.x.x 3.x.x。 JPA用户不建议使用，JPA自带事务，无法连续切库。

特性：

  • 支持 数据源分组 ，适用于多种场景 纯粹多库 读写分离 一主多从 混合模式。
  • 支持数据库敏感配置信息 加密(可自定义) ENC()。
  • 支持每个数据库独立初始化表结构schema和数据库database。
  • 支持无数据源启动，支持懒加载数据源（需要的时候再创建连接）。
  • 支持 自定义注解 ，需继承DS(3.2.0+)。
  • 提供并简化对Druid，HikariCp，BeeCp,Dbcp2的快速集成。
  • 提供对Mybatis-Plus，Quartz，ShardingJdbc，P6sy，Jndi等组件的集成方案。
  • 提供 自定义数据源来源 方案（如全从数据库加载）。
  • 提供项目启动后 动态增加移除数据源 方案。
  • 提供Mybatis环境下的 纯读写分离 方案。
  • 提供使用 spel动态参数 解析数据源方案。内置spel，session，header，支持自定义。
  • 支持 多层数据源嵌套切换 。（ServiceA >>> ServiceB >>> ServiceC）。
  • 提供 基于seata的分布式事务方案 。
  • 提供 本地多数据源事务方案。

我们需要的是纯读写分离 方案，它已经内置了。

功能范围：

  1. 本框架只做 切换数据源 这件核心的事情，并不限制你的具体操作，切换了数据源可以做任何CRUD。
  2. 配置文件所有以下划线 分割的数据源 首部 即为组的名称，相同组名称的数据源会放在一个组下。
  3. 切换数据源可以是组名，也可以是具体数据源名称。组名则切换时采用负载均衡算法切换。
  4. 默认的数据源名称为 master ，你可以通过 spring.datasource.dynamic.primary 修改。
  5. 方法上的注解优先于类上注解。
  6. DS支持继承抽象类上的DS，暂不支持继承接口上的DS。

使用步骤

1.引入依赖。

<dependency>
  <groupId>com.baomidou</groupId>
  <artifactId>dynamic-datasource-spring-boot-starter</artifactId>
  <version>${version}</version>
</dependency>

2.配置数据源

spring:
  datasource:
    dynamic:
      primary: master #设置默认的数据源或者数据源组,默认值即为master
      strict: false #严格匹配数据源,默认false. true未匹配到指定数据源时抛异常,false使用默认数据源
      datasource:
        master:
          url: jdbc:mysql://xx.xx.xx.xx:3306/dynamic
          username: root
          password: 123456
          driver-class-name: com.mysql.jdbc.Driver # 3.2.0开始支持SPI可省略此配置
        slave_1:
          url: jdbc:mysql://xx.xx.xx.xx:3307/dynamic
          username: root
          password: 123456
          driver-class-name: com.mysql.jdbc.Driver
        slave_2:
          url: ENC(xxxxx) # 内置加密,使用请查看详细文档
          username: ENC(xxxxx)
          password: ENC(xxxxx)
          driver-class-name: com.mysql.jdbc.Driver
       #......省略
       #以上会配置一个默认库master，一个组slave下有两个子库slave_1,slave_2

3.使用注解切换数据源。

@DS 可以注解在方法上或类上，同时存在就近原则 方法上注解 优先于 类上注解。

file

@Service
@DS("slave")
public class UserServiceImpl implements UserService {

  @Autowired
  private JdbcTemplate jdbcTemplate;

  public List selectAll() {
    return  jdbcTemplate.queryForList("select * from user");
  }

  @Override
  @DS("slave_1")
  public List selectByCondition() {
    return  jdbcTemplate.queryForList("select * from user where age >10");
  }
}

业务集成

我们的程序使用的经典的三层结构，即MVC .

画板

看到我们的框架是已经集成了dynamicSource的。如果没有，则加一下依赖即可。

以crm服务为例子。写了一些测试代码，进行验证测试。

package com.pig4cloud.pigx.crm.controller;


import com.baomidou.dynamic.datasource.annotation.DS;
import com.pig4cloud.pigx.common.core.util.R;
import com.pig4cloud.pigx.common.security.annotation.Inner;
import com.pig4cloud.pigx.crm.mapper.AiAgentMapper;
import com.pig4cloud.pigx.crm.service.AiAgentService;
import io.swagger.v3.oas.annotations.security.SecurityRequirement;
import io.swagger.v3.oas.annotations.tags.Tag;
import lombok.RequiredArgsConstructor;
import lombok.extern.slf4j.Slf4j;
import org.springframework.http.HttpHeaders;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.ResponseBody;
import org.springframework.web.bind.annotation.RestController;

import javax.validation.Valid;
import java.util.HashMap;
import java.util.Map;

@RestController
@RequiredArgsConstructor
@Tag(description = "test read write", name = "测试读写分离")
@SecurityRequirement(name = HttpHeaders.AUTHORIZATION)
@Valid
@Slf4j
public class TestDsController {

    private final AiAgentMapper aiAgentMapper;

    private final AiAgentService aiAgentService;

    @GetMapping("/testD")
    @ResponseBody
    //@Inner(value = false)
    public R testD() {
        return R.ok(aiAgentMapper.selectList(null));
    }


    @GetMapping("/testRead")
    @ResponseBody
    //@Inner(value = false)
    @DS("read")
    public R testRead() {
        return R.ok(aiAgentMapper.selectList(null));
    }

    @GetMapping("/testMaster")
    @ResponseBody
    //@Inner(value = false)
    @DS("master")
    public R testMaster() {
        return R.ok(aiAgentMapper.selectList(null));
    }

    @GetMapping("/testHe")
    @ResponseBody
    //@Inner(value = false)
    @DS("master")
    public R testHe() {
        return R.ok(aiAgentService.listTest());
    }

    @GetMapping("/testHe2")
    @ResponseBody
    //@Inner(value = false)
    @DS("read")
    public R testHe2() {
        return R.ok(aiAgentService.listTest2());
    }


    @GetMapping(value = "/testHe3",produces = "application/json")
    @ResponseBody
    //@Inner(value = false)
    public R testHe3() {
        Map<String, Object> dataMap = new HashMap<>();

        dataMap.put("read", aiAgentService.listTest());
        dataMap.put("master", aiAgentService.listTest2());

        return R.ok(dataMap);
    }


}

对应的Service实现代码：

@Service
@Slf4j
@RequiredArgsConstructor
public class AiAgentServiceImpl extends ServiceImpl<AiAgentMapper, AiAgentEntity> implements AiAgentService {

    @Override
    @DS("read")
    public List<AiAgentEntity> listTest() {
        return baseMapper.selectList(null);
    }

    @Override
    @DS("master")
    public List<AiAgentEntity> listTest2() {
        return baseMapper.selectList(null);
    }
}

测试用例和结果：

测试接口和场景测试说明预期结果测试结果
/testD不加任何注解走主库- [x] 走主库 ![]file
/testRead添加了读库注解走读库- [x] 走读库file
/testMaster添加了主库注解走主库- [x] 走主库file
/testHe上层加主库注解，下层加读库注解走读库- [x] 走读库file
/testHe2上层加读库注解，下层加写库注解走主库- [x] 走主库 file
/testHe3在中层的方法分别加读库和写库注解分别走读库和主库- [x] 分别走读库和读库file

目前需要增加读写分离的服务。

服务增加读写分离的原因是否完成增加
crm后台列表查询页面, openAPI的读接口，直接走读库；- [x]
email后台列表查询页面, openAPI的读接口，直接走读库；- [ ]
phone后台列表查询页面, openAPI的读接口，直接走读库；- [ ]
ssm后台列表查询页面, openAPI的读接口，直接走读库；- [ ]
upms后台列表查询页面, openAPI的读接口，直接走读库；- [ ]

源码研究

3.6.0版本。基于这个进行分析。

1 自动装配类

file

配置属性：DynamicDataSourceProperties

属性说明
primary默认的库
strict严格检查
p6spy日志输出
seata是否开启seata
lazy是否懒加载数据源
setaModeAT模式
publicKey加密key
datasource数据源，可以单独配置；
strategy负载均衡策略
druid数据源
hikari数据源
beecp数据源
dbcp2数据源
aopaop配置，有默认值

DataSourceProperty

属性说明说明
poolName连接池名称
type连接类型
driverClassName驱动名称
url连接url
username用户名
password密码
jndiNamejndi中的名称
init初始化配置
p6spy日志输出
seata是否开启seata
lazy是否懒加载数据源
publicKey加密key
druid数据源
hikari数据源
beecp数据源
dbcp2数据源

DatasourceInitProperties

属性名说明
schema建表脚本
data数据脚本
continueOnError错误是否继续
separator分隔符

2 自动装配逻辑

file

基于切面实现。

小结

集成使用了mybatisPlus自带的多数据源实现了读写分离，并探究了源码实现过程。

详细过程可以看我的视频号。

原创不易，关注诚可贵，转发价更高！转载请注明出处，让我们互通有无，共同进步，欢迎沟通交流。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2165368.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

降准降息一揽子措施点燃 A 股激情，4% 大涨之后趋势深度剖析

降准降息一揽子措施点燃 A 股激情，4% 大涨之后趋势深度剖析

文章目录 牛回速归原因分析引爆点情绪和信心一根大阳线&#xff0c;千军万马来相见阴霾是否一扫而空还未可知 流动性和增量 潜在隐患等待经济复苏配套政策期待中美关系进展 短期内趋势分析空军短期内仍有余力如何看待第2日的回撤外围 趋势分析结论短期内可能仍有波折中长期会是…
阅读更多...
【数学分析笔记】第3章第4节闭区间上的连续函数（1）

【数学分析笔记】第3章第4节闭区间上的连续函数（1）

3. 函数极限与连续函数 3.4 闭区间上的连续函数 3.4.1 有界性定理 【定理3.4.1】 f ( x ) f(x) f(x)在闭区间 [ a , b ] [a,b] [a,b]上连续&#xff0c;则 f ( x ) f(x) f(x)在闭区间 [ a , b ] [a,b] [a,b]上有界。 【证】用反证法&#xff0c;假设 f ( x ) f(x) f(x)在 [ …
阅读更多...
2-103 基于matlab的光电信号下血氧饱和度计算

2-103 基于matlab的光电信号下血氧饱和度计算

基于matlab的光电信号下血氧饱和度计算&#xff0c;光转换成电信号时&#xff0c;由于动脉对光的吸收有变化而其他组织对光的吸收基本不变&#xff0c;得到的信号就可以分为直流DC信号和交流AC信号。提取AC信号&#xff0c;就能反应出血液流动的特点。这种技术叫做光电容积脉搏…
阅读更多...
【Linux学习】2-1 Linux系统下运行C语言输出hello word

【Linux学习】2-1 Linux系统下运行C语言输出hello word

1.双击打开VMware软件&#xff0c;点击开启此虚拟机后&#xff0c;等待点击头像输入密码进入 2.“CtrlAltt”调出命令行终端&#xff0c;输入命令sudo apt-get install vim安装vim&#xff0c;输入命令sudo apt-get install gcc安装gcc 3.输入命令vi hello.c进入C语言编写环境&…
阅读更多...
Linux —— Socket编程（一）

Linux —— Socket编程（一）

一、本篇重点 1. 认识IP地址、端口号、网络字节序等网络编程中的基本概念 2. 学习Socket api的基本用法 3. 能够实现一个简单的udp客户端/服务器 二、基本概念 1. 理解源IP地址和目的IP地址 简单的理解&#xff0c;IP地址是用于标识一台机器的&#xff0c;我们通过IP地址去…
阅读更多...
使用 UWA Gears 测试小游戏性能

使用 UWA Gears 测试小游戏性能

UWA Gears 是UWA最新发布的无SDK性能分析工具。针对移动平台&#xff0c;提供了实时监测和截帧分析功能&#xff0c;帮助您精准定位性能热点&#xff0c;提升应用的整体表现。 随着小游戏的规模和用户量持续增长&#xff0c;玩家对于小游戏的性能要求也越来越高。为了能够给玩…
阅读更多...
力扣234 回文链表 Java版本

力扣234 回文链表 Java版本

文章目录 题目描述代码 题目描述 给你一个单链表的头节点 head &#xff0c;请你判断该链表是否为 回文链表 。如果是&#xff0c;返回 true &#xff1b;否则&#xff0c;返回 false 。 示例 1&#xff1a; 输入&#xff1a;head [1,2,2,1] 输出&#xff1a;true 示例 2&…
阅读更多...
【ASE】第三课_山丘颜色梯度效果

【ASE】第三课_山丘颜色梯度效果

今天我们一起来学习ASE插件&#xff0c;希望各位点个关注&#xff0c;一起跟随我的步伐 今天我们来学习山丘的颜色梯度显示&#xff0c;根据不同的高度显示不同的颜色 最终效果&#xff1a; 思路&#xff1a; 1.先加载模型的纹理贴图和法线贴图 2. 获得模型世界顶点Y向量&am…
阅读更多...
【渗透测试】-灵当CRM系统-sql注入漏洞复现

【渗透测试】-灵当CRM系统-sql注入漏洞复现

文章目录 概要　　 灵当CRM系统sql注入漏洞&#xff1a;　　 具体实例&#xff1a;　 技术名词解释　 小结 概要 近期灵当CRM系统爆出sql注入漏洞&#xff0c;我们来进行nday复现。 灵当CRM系统sql注入漏洞&#xff1a; Python sqlmap.py -u "http://0.0.0.0:0000/c…
阅读更多...
当okhttp网络库遇到不规范的http状态码

当okhttp网络库遇到不规范的http状态码

如题&#xff0c;最近工作遇到的问题&#xff0c;我们的 Android 应用网络请求埋点报表&#xff0c;收集到了奇怪的网络请求异常&#xff1b;通过日志收集与分析&#xff0c;确定到是服务器返回了不规范的状态码所导致。 如上是根据线上的业务场景&#xff0c;本地写个简单的M…
阅读更多...
二进制位运算题

二进制位运算题

本期介绍&#x1f356; 主要介绍&#xff1a;1. 在不创建临时变量的情况下交换两个变量&#xff0c;2. 计算变量在内存中存放2进制位“1”的个数&#xff0c;3. 求两个数的二进制中不同位的个数&#xff0c;4. 分别打印整数的二进制中奇数位和偶数位&#xff0c;5. 判断一个整数…
阅读更多...
SentencePiece进行文本分类

SentencePiece进行文本分类

SentencePieces 前言 Step1:故事 SentencePiece 是一个无监督的文本分词器和 detokenizer(还原回去的&#xff1f;)主要用于词汇表大小是预定的文本生成系统中它拓展了原始句子的训练&#xff0c;实现子词单元如 BPE 和 unigram language model技术亮点 纯数据驱动&#xff…
阅读更多...
Qemu开发ARM篇-6、emmc/SD卡AB分区镜像制作

Qemu开发ARM篇-6、emmc/SD卡AB分区镜像制作

文章目录 1、AB分区镜像制作2、uboot修改3、镜像启动 在上一篇 Qemu开发ARM篇-5、buildroot制作根文件系统并挂载启动中&#xff0c;我们通过buildroot制作了根文件系统&#xff0c;并通过 SD卡的形式将其挂载到设备并成功进行了启动&#xff0c;但上一章中&#xff0c;我们的…
阅读更多...
车载应用的多功能需求与公安、金融等行业的应用特点

车载应用的多功能需求与公安、金融等行业的应用特点

随着科技的快速发展&#xff0c;车载应用的功能需求也日益多样化。除了基本的视频监控功能外&#xff0c;现代车载应用还需满足一系列高级功能&#xff0c;如无线网络视频监控、GPS卫星定位、车辆调度、语音报站、行驶信息记录以及多媒体娱乐广告播放等。这些功能在公安、金融等…
阅读更多...
2024年数字化转型与管理国际学术会议（DTM 2024）

2024年数字化转型与管理国际学术会议（DTM 2024）

目录 重要信息 大会简介 大会组委 征稿主题 论文出版 会议议程 参会方式 重要信息 大会官网&#xff1a;www.icemme.org&#xff08;点击了解大会&#xff0c;投稿等详细信息&#xff09; 大会时间&#xff1a;2024年11月22-24日 大会地点&#xff1a;中国-大连 大会…
阅读更多...
三维重建的几何评价指标

三维重建的几何评价指标

1.三维重建的几何评价指标 1.1 Chamfer Distance Geometry quality (1) Chamfer Distance&#xff08;CD&#xff09; CD衡量两组点云之间的几何差异&#xff0c;距离越小越好。 CD是一种用于衡量两个点云之间相似度的常用几何评价指标。它计算一个点云中每个点到另一个点云的…
阅读更多...
Qt5.15和Qt6.7配置Android开发环境

Qt5.15和Qt6.7配置Android开发环境

最近重新安装了Qt5.15.2和Qt6.7.2，使用Qt Creator14.0.1，配置Android开发环境时又碰到了一些问题，记录如下。 1、Qt6.7.2使用AndroidStudio的JDK 因为系统原来安装了AndroidStudio2024，系统自动检测了JDK位置，点击设置SDK，可以自动安装好相应的NDK。 打开Qt Creator14…
阅读更多...
JavaEE——多线程的状态及线程安全问题

JavaEE——多线程的状态及线程安全问题

目录 一、线程的状态 1、NEW 2、 TERMINATED 3、RUNNABLE 4、TIMED_WAITING 5、 BLOCKED 6、WAITING 二、线程安全问题 1、线程不安全的原因 2、一个线程不安全的实例 3、加锁操作 4、产生线程不安全的原因 什么是内存可见性呢&#xff1f; 解决方案&#xff1f; 5、指令重排序…
阅读更多...
【Linux学习】1-2 新建虚拟机ubuntu环境

【Linux学习】1-2 新建虚拟机ubuntu环境

1.双击打开VMware软件&#xff0c;点击“创建新的虚拟机”&#xff0c;在弹出的中选择“自定义&#xff08;高级&#xff09;” 2.点击下一步&#xff0c;自动识别ubuntu光盘映像文件&#xff0c;也可以点击“浏览”手动选择&#xff0c;点击下一步 3.设置名称及密码后&#xf…
阅读更多...
web - RequestResponse

web - RequestResponse

##Request&Response 1&#xff0c;Request和Response的概述 Request是请求对象&#xff0c;Response是响应对象。这两个对象在我们使用Servlet的时候有看到&#xff1a; 此时&#xff0c;我们就需要思考一个问题request和response这两个参数的作用是什么? request:获取请…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023