开发一个简单的数据库路由进行分库分表

news2024/11/17 0:04:02

今天我们来看看一个简单的数据库路由组件要怎么开发出来,这篇文章分为几个步骤进行介绍,分别为:

  1. 什么是数据库路由
    1. 路由组件的作用
    2. 为什么要自研组件
    3. 需要用到什么技术
  2. 整体的业务流程
  3. 主要代码

介绍

数据库路由的作用

使用数据库路由是在业务体量很大, 数据量增长过快,所以要把用户的数据拆分到不同的库表中,以此来减轻单机的压力。

数据库路由是用于分库分表操作,有两种方式。
1)垂直拆分
根据业务分类,将不同的业务表分布在不同的数据库中。可以将数据的压力分担到不同的数据库中,专库专用。
2)水平拆分
当垂直拆分遇到单机瓶颈的时候,就可以将一张数据表拆分多张表,放在不同的数据库中。

本篇文章也是基于水平拆分进行讲解。

为什么要自研数据库路由?

明明有一些成熟的路由组件,为什么还要自研?

1、更容易维护; 市面上有路由组件,比如:shardingsphere;但是这个组件非常庞大,而且我们也需要随着组件的版本给项目升级。而自研组件,维护起来就更容易。

2、更容易扩展; 我们可以结合自身的业务需求,去对组件进行一系列的扩展。比如说自定义路由协议、扫描指定的库表数据等等。

3、更安全; 自研的组件不会有因为额外导入Jar包,导致项目出现问题的风险。

最后是否去自研一个路由组件或者使用已经非常成熟的路由组件,还是要根据自己项目的业务需求来决定。我们可以为了更加的匹配项目,去自己研发一个简单的路由组件。也可以去使用成熟的组件,都可以。

需要什么技术?

开发一个简单的路由组件并不需要有多么🐮的技术框架,你需要了解的是关于SpringBoot的starter开发、面向切面编程、散列算法、Mybatis拦截器以及Java反射。

用到的技术都是比较基础的, 在学习这个路由组件开发的过程,你也能够务实好自身的基础。

整体流程

上面简单的介绍了一下什么是数据库路由,接下来我们来看看这个组件整体的一个流程是什么。首先我们要用到SpringBoot的starter开发,就是在项目启动的时候,去进行一系列的数据库的初始化配置。然后要用到AOP面向切面,自定义一个路由注解配置在你想要进行分库分表的接口方法处。当使用这个方法的时候,就会通过AOP定义库表索引。当连接数据库的使用getConnection()的时候,就会根据库表索引去切换数据源。最后,实现Mybatis的拦截器,通过反射修改SQL语句的表名,至此就完成了整体的流程。如下图:

在这里插入图片描述

主要代码介绍

代码有很多,我们主要介绍一下切换数据源的代码以及通过散列设置库表索引的方法。

1)数据源切换

@Bean
public DataSource dataSource(){
    Map<Object,Object> targetDatasource = new HashMap<>();

    for (String key : dataSourceMap.keySet()) {
        Map<String, Object> map = dataSourceMap.get(key);
        targetDatasource.put(key,new DriverManagerDataSource(map.get("url")+"",map.get("username")+"",map.get("password")+""));
    }

    DynamicDataSource dynamicDataSource = new DynamicDataSource();
    dynamicDataSource.setTargetDataSources(targetDatasource);
    dynamicDataSource.setDefaultTargetDataSource(defaultDataSource);
    return dynamicDataSource;
}

数据源切换的代码就这么简单,看到这你应该也不知道到底是如何切换的。其实归根结底是因为DynamicDataSource 继承了AbstractRoutingDataSource,进去看这个源码后我们在getConnection()中能够发现一点端倪。
在这里插入图片描述
在getConnection()之前,先去确定了一个目标数据源,再让我们去看看determineTargetDataSource的代码。
在这里插入图片描述
看到了吗,数据源默认使用的是resolvedDataSources里面的,如果没有再使用默认的数据源。在上面我们切换数据源的代码可以看到,我们是有设置了一个targetDataSource的,但是和resolvedDataSources又有什么关系?
在这里插入图片描述
看这个代码就知道了。看到这,不知道你对数据源的切换是否了解了呢?

2)散列算法
看完了数据源的切换,我们接下来看看是怎么设置库表索引的。我们都知道,如果单纯的在Map中设置索引的话,就很有可能会出现哈希碰撞,我们可以参考HashMap的方法,使用扰动函数让数据更加分散。

int size = tbCount + dbCount;
String key = "申未曲"
int idx = (size - 1) & (key.hashCode() ^ key.hashCode() >>> 16);
int dbIdx = idx / tbCount + 1;
int tbIdx = idx - tbCount * (dbIdx + 1);

这样我们就可以在size的范围内去获取到对应的索引了。

我们来理解一下代码,先看看第三行。

int idx = (size - 1) & (key.hashCode() ^ key.hashCode() >>> 16);

这句代码分为了两个部分,第一个部分是将两个key的哈希值的前后16为进行了按位异或。比如说“申未曲”的二进制码为:1110001001101100101111011,不足32为前补0,得到了:
00000001110001001101100101111011 将这个二进制码右移16位就得到了:
00000000000000000000000111000100 按位异或之后就得到了如下二进制:
00000001110001001101100111111111 = 29678079

假设size=10,那么接下来就需要让size与hashcode进行按位与,29678079 & 9
00000001110001001101100111111111 & 00000000000000000000000000001001得到的值为1001=9

int dbIdx = idx / tbCount + 1;
int tbIdx = idx - tbCount * (dbIdx + 1);

然后再看看这两句代码,这样看可能也不好理解,那我们举个例子。当前有8张表,分别放在了两个库内,获取到的索引分别为1~8,那当索引idx=5的时候,所在的是第几个库第几张表?

带入进来,5 / 4 + 1 = 2 (库) ;5 - 4 * (2 -1 ) 1 (表),认真理解后还是很简单的。

就说这些, 大家可以根据上面提供的流程与逻辑,看看能不能自己研发一个出来。代码结构图如下:
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/797646.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

腾讯 SpringBoot 高阶笔记,限时开源 48 小时,真香警告

众所周知&#xff0c;SpringBoot 最大的一个优势就是可以进行自动化配置&#xff0c;简化配置&#xff0c;不需要编写太多的 xml 配置文件&#xff1b;基于 Spring 构建&#xff0c;使开发者快速入门&#xff0c;门槛很低&#xff1b;SpringBoot 可以创建独立运行的应用而不需要…

Normalization(BN and LN) in NN

Batch Normalization 称为批标准化。批是指一批数据&#xff0c;通常为 mini-batch&#xff1b;标准化是处理后的数据服从 N ( 0 , 1 ) N(0,1) N(0,1) 的正态分布。在训练过程中&#xff0c;数据需要经过多层的网络&#xff0c;如果数据在前向传播的过程中&#xff0c;尺度发…

IO模型、javaIO

介绍 网络通讯&#xff0c;一台计算机给另一台计算机传输数据&#xff0c;中间过程就叫做通信&#xff0c;也就是通过IO接口输入输出到另一台计算机&#xff0c;这个就叫做网络IO. 文件描述符&#xff08;File descriptor&#xff09; 是计算机科学中的一个术语&#xff0c;是…

Spring核心概念、IoC和DI的认识、Spring中bean的配置及实例化、bean的生命周期

初始Spring 一、Spring核心概念1.1IoC(Inversion of Contral)&#xff1a;控制反转1.2IoC代码实现1.2DI代码实现 二、bean的相关操作2.1bean的配置2.1.1bean的基础配置2.1.2bean的别名配置2.1.3bean的作用范围配置 2.2bean的实例化 - - 构造方法2.3bean的实例化 - - 实例工厂与…

windows中注册redis服务启动时报1067错误

注册完redis服务&#xff0c;打开计算机 服务时确实有redis服务存在&#xff0c;但是点击启动时却报1067错误&#xff0c;而命令行用redis-server.exe redis.windows.conf 命令却也可以启动 查看6379的端口也没有被占用&#xff08;netstat -ano | findstr :6379&#xff09; …

【LeetCode】98.验证二叉搜索树

题目 给你一个二叉树的根节点 root &#xff0c;判断其是否是一个有效的二叉搜索树。 有效 二叉搜索树定义如下&#xff1a; 节点的左子树只包含 小于 当前节点的数。节点的右子树只包含 大于 当前节点的数。所有左子树和右子树自身必须也是二叉搜索树。 示例 1&#xff1a…

怎么在树莓派上搭建web网站,并发布到外网可访问?

文章目录 怎么在树莓派上搭建web网站&#xff0c;并发布到外网可访问&#xff1f;概述使用 Raspberry Pi Imager 安装 Raspberry Pi OS测试 web 站点安装静态样例站点 将web站点发布到公网安装 Cpolarcpolar进行token认证生成cpolar随机域名网址生成cpolar二级子域名将参数保存…

servlet基本使用

1.创建web项目&#xff08;新版本idea中首先新创建新项目&#xff0c;再在新项目中选中添加框架支持&#xff0c;即可生成web项目&#xff09; 2.接下来我们可以来编写代码&#xff0c;我们在源文件下创建包后再创键类 我们想要利用servlet&#xff0c;可以通过三种方式来实现 …

Mybatis 支持复杂类型方式List<String>

设置 autoResultMap true TableField(value "enums", typeHandler JacksonTypeHandler.class) <id column"enums" property"enums" typeHandler"com.baomidou.mybatisplus.extension.handlers.JacksonTypeHandler" />

Appium+python自动化(二十六)- Toast提示(超详解)简介

开始今天的主题 - 获取toast提示 在日常使用App过程中&#xff0c;经常会看到App界面有一些弹窗提示&#xff08;如下图所示&#xff09;这些提示元素出现后等待3秒左右就会自动消失&#xff0c;这个和我日常生活中看到的烟花和昙花是多么的相似&#xff0c;那么我们该如何获取…

在Ail Linux中手动配置IPv6

第一步&#xff0c;登录阿里云服务器控制台&#xff0c;在“概览”页面找到对应实例&#xff0c;然后单击实例ID。 第二步&#xff0c;在“实例详情”页面中的“网络信息”栏目中&#xff0c;可以发现“IPv6 地址”中没有数据&#xff0c;然后单击“专有网络”的专有网络ID。 第…

(学习笔记-系统结构)Linux内核与windows内核

内核 计算机是由各种外部硬件设备组成的&#xff0c;比如内存、CPU、硬盘等&#xff0c;如果每个应用都要和这些硬件设备对接通信协议&#xff0c;那这样太累了&#xff0c;所以这个中间人由内核来负责&#xff0c;让内核作为应用连接硬件设备的桥梁&#xff0c;应用程序只关心…

Docker 容器基础操作

Docker容器基础操作 容器(container)是Docker镜像的运行实例,类似于可执行文件与进程的关系,Docker是容器引擎,相当于系统平台。 容器的生命周期 容器的基础操作(以 tomcat8.0 为例) # 拉取tomcat8.0镜像 [root@tudou tudou]# docker pull tomcat:8.0 8.0: Pulling f…

【山河送书第四期】:《Python之光:Python编程入门与实战》参与活动,免费送书五本!!

【山河送书第四期】&#xff1a;《Python之光&#xff1a;Python编程入门与实战》参与活动&#xff0c;免费送书五本&#xff01;&#xff01; 书本简介本书亮点配套丰富购买链接参与方式往期赠书回顾&#xff1a; 书本简介 作为一种极其流行的编程语言&#xff0c;Python已经…

评测报告的结论如何写?

背景 最近组内同学开始编写评测报告&#xff0c;报告中的结论中存在以下几种情况&#xff1a; 1.结论是一大段文字&#xff0c;像散文一样 2.评测数据结果中存在多个数据维度&#xff0c;将所有的数据结果都罗列到结论中&#xff0c;主要信息不突出 3.只是将评测数据罗列到…

QT多线程编程基础

文章目录 前言一、线程&#xff0c;进程 介绍二、创建线程三、终止线程总结 前言 一、线程&#xff0c;进程 介绍 线程&#xff1a; 是操作系统中独立运行的最小单位。每个线程都有自己的执行路径、程序计数器、堆栈和一组寄存器。线程共享进程的资源&#xff0c;如内存和文件…

突破AI医疗对话MDS瓶颈,深兰科技·科学院论文被国际顶会SIGIR 2023收录

7月23日&#xff5e;27日&#xff0c;人工智能领域智能信息检索方向最权威的国际会议“第46届国际计算机学会信息检索大会”(SIGIR 2023)在中国台湾省台北市举行。大会公布了投稿论文入选名单&#xff0c;由深兰科技科学院多名科技研发人员合力撰写的论文《MDKG&#xff1a;基于…

【ADS】导入CMOS衬底文件+使用coilsys生成电感

新建工程经常忘记怎么操作&#xff0c;简记防遗忘。 操作步骤 1.unzip file2.原理图仿真3.Layout加载衬底文件4.使用coilsys生成电感 1.unzip file designKits-》unzip&#xff0c;选择对应库的压缩包&#xff0c;我这里是&#xff08;TSMC_CRN65GP_v2.zip&#xff09;。 为了…

MySQL碎片清理

为什么产生&#xff1f; 经过大量增删改的表&#xff0c;都可能存在碎片 MySQL数据结构是B树&#xff0c; 删除某一记录&#xff0c;只会标记为删除&#xff0c;后续插入一条该区间的记录&#xff0c;就会复用这个位置。 删除整个数据页的记录&#xff0c;则整个页标记为“可…

C语言getchar函数和putchar函数

getchar()是输入字符的函数 putchar是输出字符的函数 需要包含头文件&#xff1a;<stdio.h>