搭建高性能数据库服务⭐《Sharding-JDBC+Canal》⭐

news2024/9/24 14:17:27

本文主要记录本周的学习内容,搭建mysql的高性能数据库服务

源于

现最多被使用的数据库还是Msql,而MySQL本身不是一种分布式型数据库,在高性能要求下,简单的主从、复制已无法满足高性能要求。
而本文主要在提供读者一种高性能方案。
主要进入角度在于分库,将数据按指定的维度进行分库处理。

为什么

试想你有一台数据库你为了希望它高可用你部署了主从,在意外情况下可以切换到从库。为了提高性能你又使用了读写分离,但你发现性能还是不够因为主要的写库还是只有一台,然后你想做到集群化部署,不搞什么读写了,将数据分批放到不同的数据库中,其数据库之间不关联,性能也是独立的。两台性能+2、三台性能+3,就此性能问题解决了。
但实际上想要实现这样子分库并没有那么简单,需要借助一些中间件实现

在这里插入图片描述

选择

现有适用与MySQL的分库分表实现方案,主要有以下两种类型,其区别主要在于是否置入应用、独立应用的数据库上层代理

  1. JDBC直连层
    在这里插入图片描述

  2. Proxy 代理层
    在这里插入图片描述

主要代表方案 :

方案类型描述
Sharding-JDBCJDBC直连层现比较常用的方案,其织入应用维护成本较底,但统一管理变的麻烦-后续已经支持集群proxy方案
mycatProxy 代理层需要独立部署,无疑加大了维护成本适用于大规模的开发

Sharding-JDBC

笔者这里不介绍Sharding-JDBC的实现,希望读者自行去点标题进入官网了解它能做些什么, 笔者已经把能直接运行的项目放到了👉gitee👈,方便读者学习

在我们对数据的数据进行分片后,订单数据已经成功的根据不同的订单号进入了不同的数据库了,但出现了一些问题,我希望查询用户Id是2的订单数据,但出现在了两个数据库中,我的sql应该怎么写;

select * from table_name where user_id=2;

现在这样子写还可以吗
在这里插入图片描述
不出意外的出现了异常,因为我们的数据划分是通过订单号,也就是说我们提供Sharding-JDBC一个订单号然后它去更具规则算出它在那个数据库中,但是如果我们没有提供订单号的查询,它无法进行判断,那此类sql就会变成整个集群的查询,此类查询不出意外的被拦截了,当然我们也可以关闭拦截,但关闭了拦截我们的分库就毫无意义(还是变成了全库扫描查询)。
在这里插入图片描述
分库后会出现以下问题

  1. 分库分表的算法 : 以什么条件作为分法,是否兼容后续数据库扩容
  2. 分库分表ID问题 : 多库如果用自增编号,会出现重复编号
  3. 分库分表后的事务 : 多库之间的分布式事务问题
  4. 多表联合查询/多维度 : 数据分布在不同的数据库中怎么做order by、group by等等

问题一 : 分库分表的算法

  1. 通过对order_id取模 : 取模的方案固然最简单,但在后续的扩容取模数+1会导致旧数据已经分配出去的,无法查询;
    在这里插入图片描述
  2. 一致性哈希:当然还有其他方案,这里就直接告诉读者比较优解,该方案也是redis采用的,算法比较复杂,但如其名无论追加集群也不会导致order_id计算结果;

问题二:分库分表ID问题
通常我们单机应用的时候,我们完全可以采用主键自增,但在分布式集群的情况下,如果还使用自增那会出现不同库中自增的编号一样,也就是两个库的表里都会出现编号为1的数据,这种重复编号的出现十分破坏原子性,当然解决方案也是非常多,常见的雪花、美团的leaf、uuid等等都可以作为分布式id生成方案

问题三: 分库分表后的事务
在单机下我们的数据都在一个数据库中,MySQL会帮助我们管理事务,多表的修改可以统一的回滚,但分布式下不同数据库的事务并不互通,此时我们可以引入分布式XA事务解决方案

问题四:多表联合查询/多维度
也是本文的关键,如果我想在订单表下用用户维度查询,也就是上图的情况,应该怎么办,本文采用的解决方案也就是异构索引

为什么是异构索引

https://blog.csdn.net/u014231523/article/details/88096413

Canal

参考文档

ShardingSphere :: https://shardingsphere.apache.org/document/current/en/overview/
异构索引 :: https://blog.csdn.net/u014231523/article/details/88096413

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/78767.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Java学习之equals方法练习

目录 第一题 题目要求 我的代码 创建Person类 main类 结果 重写equals 重写后的结果 老师代码 思路 结果 总结 Interger类 源代码 String类 源代码 第二题 运行结果 第三题 知识点 运行结果 第一题 题目要求 判断两个 Person 对象的内容是否相等,…

SQL开窗函数之基本用法和聚合函数

开窗函数 当我们需要进行一些比较复杂的子查询时,聚合函数就会非常的麻烦,因此可以使用开窗函数进行分组再运用函数查询。窗口函数既可以显示聚集前的数据,也可以显示聚集后的数据,可以在同一行中返回基础行的列值和聚合后的结果…

python之模块使用

目录 一、模块 二、标准模块 collections模块 三、异常处理 四、文件操作 一、模块 Python 模块(Module),是一个 Python 文件,以 .py 结尾,包含了 Python 对象定义和Python语句。 模块让你能够有逻辑地组织你的 Python 代码段。 新建util…

day17【代码随想录】找出字符串中第一个匹配项的下标 、重复的子字符串

文章目录前言一、找出字符串中第一个匹配项的下标(力扣28)二、重复的子字符串(力扣459)前言 1、找出字符串中第一个匹配项的下标 2、重复的子字符串 一、找出字符串中第一个匹配项的下标(力扣28) 给你两个…

LeetCode HOT 100 —— 200 .岛屿问题

题目 给你一个由 ‘1’(陆地)和 ‘0’(水)组成的的二维网格,请你计算网格中岛屿的数量。 岛屿总是被水包围,并且每座岛屿只能由水平方向和/或竖直方向上相邻的陆地连接形成。 此外,你可以假设该…

有意思,圣诞节自己做一个装饰圣诞帽头像的APP!

话说又到了一年一度到别人到节日,圣诞节,还记得去年的时候,朋友圈疯狂转发到圣诞帽嘛,在圣诞节为自己到头像增加一款圣诞帽还是蛮应景的。 我们的目标就是是这样的 ❝ 当然,如果你对过程不感兴趣,那么直接到…

总结本人学习b站黑马前端课程,各部分案例汇总

目录 1.Ajax: 对应课程: b站黑马JavaScript的Ajax案例代码——新闻列表案例 b站黑马JavaScript的Ajax案例代码——评论列表案例 b站黑马JavaScript的Ajax案例代码——聊天机器人案例 b站黑马JavaScript的Ajax案例代码——图书管理案例 2.ES6面向对…

HTML-如何让网站变成灰色?

在某些特定的时候,我们经常会看到网站会将整体布局设置成灰色色调,以示哀悼。 那么这是怎么实现的呢? 我去查了下相关的文章,发现是通过CSS的 过滤器函数 实现的,详见:grayscale()。 grayscale:对图片进…

MySql性能优化(三)执行计划详解

执行计划 执行计划执行计划概述idselect_typetabletypepossible_keyskeykey_lenrefrowsextra官网地址 在具体的应用当中,我们排查sql有没有走索引,性能如何,需要查看Sql语句具体的执行过程,以方便我们调整sql来加快sql的执行效率。…

如何通过 IntelliJ IDEA 来提升 Java8 Stream 的编码效率

小新再次推荐一篇 ,主要是讲如何通过 IntelliJ IDEA 来提升 Stream 的编码效率,算是一个小技巧,经常使用 Java8 Stream 流的小伙伴们,可以试下,能够提升工作效率哦! 一、Java8 Stream API 的不友好性 Java…

02优先队列和索引优先队列-优先队列-数据结构和算法(Java)

文章目录1 概述1.1 需求1.2 优先队列特点1.3 优先队列分类1.4 应用场景1.5 相关延伸2 说明3 索引优先队列3.1 实现思路3.2 API设计3.2 代码实现及简单测试5 主要方法讲解5.1 exch()5.2 insert()5.2 poll()6 分析7 后记1 概述 普通的队列是一种先进先出的数据结构,元…

JMeter连接Oracle过程及常见问题总结

如果被测试系统使用的数据库不是MySQL而是Oracle,如何用JMeter进行连接呢? 一、下载数据库驱动 需要确认数据库的版本,可以上网站下载驱动:https://www.oracle.com/database/technologies/jdbc-ucp-122-downloads.html。 或者直…

【Linux】进程间通信-共享内存

前言 我们知道,在Linux中,进程是相互独立存在的,不存在直接让进程之间互相通信的方式。但是如果我们能让不同进程之间见到同一块内存,也就是都能读写这片区域是不是就能够达到进程间通信呢? 事实证明确实如此。在之前我…

【springboot进阶】基于starter项目构建(二)构建starter项目-fastjson

目录 一、创建 fastjson-spring-boot-starter 项目 二、添加 pom 文件依赖 三、构建配置 四、加载自动化配置 五、打包 六、使用 这个系列讲解项目的构建方式,主要使用 父项目 parent 和 自定义 starter 结合。项目使用最新的 springboot3 和 jdk19。本系列的…

kinect v2安装iai_kinect2

目前已完成 前期已经安装了libfreenect2 使用的系统为ubuntu 18.04 使用的相机为kinect v2 已经安装好了orb_slam3,已经完成使用stereo在euroc数据集和使用RGB-D在tum数据集上的测试 目的 想要完成使用深度相机进行在线测试 步骤 step1 经过查阅资料发现目前仅…

大学生HTML期末作业, JavaScript期末大作业

🎉精彩专栏推荐 💭文末获取联系 ✍️ 作者简介: 一个热爱把逻辑思维转变为代码的技术博主 💂 作者主页: 【主页——🚀获取更多优质源码】 🎓 web前端期末大作业: 【📚毕设项目精品实战案例 (10…

Java项目:SSM设备台账管理系统

作者主页:源码空间站2022 简介:Java领域优质创作者、Java项目、学习资料、技术互助 文末获取源码 项目介绍 管理员角色包含以下功能: 管理员登录,物理设备管理,IP地址资源管理,虚拟机管理,通知公告管理,学历管理,部门管理,员工管理等功能。 …

DFS 数据结构 C++语言实现 图的深度优先遍历

1.DFS图解 图的深度优先遍历 1.1 基本定义: 设初始时,图中所有顶点未曾被访问过: ● 从图中某个顶点 v 出发,访问此顶点; ● 依次从 v 的未被访问的邻接点出发深度优先遍历图,直至图中所有和顶点 v 有路…

【非下载vs解决】error: Microsoft Visual C++ 14.0 or greater is required

首先说解决办法 搜索下载对应库的whl文件即可 下面是解决过程 部分报错为:error: Microsoft Visual C 14.0 or greater is required. Get it with “Microsoft C Build Tools”: https://visualstudio.microsoft.com/visual-cpp-build-tools/ 我是安装wordcloud库…

Activemq安装和控制台

目录 一、安装 二、后台服务启动 三、查看前台 一、安装 http://blog.csdn.net/gebitan505/article/details/55096222 二、后台服务启动 普通启动/关闭 到activemq的目录下执行【./activemq start/stop】进行开启和关闭activemq 带日志的启动 控制台不输出东西&#x…