分库分表常见算法,每个高级开发必知必会?

news2024/11/18 0:42:15

目录标题

  • 分库分表常见算法
    • 哈希取模算法
    • 容量(时间)范围算法
    • 范围 + 取模算法
  • 总结

分库分表是一种数据库设计技术,其目的是为了提高数据库的性能和扩展性。它通过将数据库的表拆分到多个数据库中来实现这一目的。

分库分表常见算法

分库分表分片策略选择,主要考虑两个原则:

  1. 当前业务是否真的需要分库分表,分库分表虽然可以减少单库单表的数据压力,处于一个良好的查询响应范围,但是带来的问题也比较多,比如事务,数据查询等等,所以我认为不到万不得已,不要进行分库分表。
  2. 既然已经决定了要进行分库分表,分库分表分片策略选择就比较重要。

哈希取模算法

根据某一列的哈希值来拆分表,比如将用户的 email 按照哈希值来拆分表,以达到数据分布均匀的目的。hash(字段) mod 数据库实例数或子表数量,是最为常见的一种路由方式。

在这里插入图片描述

public class ModTest {
   public static void main(String[] args){
       // 数量
       int num = 3;
       String key = UUID.randomUUID().toString();
       // hash值:返回一个数的绝对值
       long hash = Math.abs((long) key.hashCode());
       System.out.println(hash % num);
  }
}

优点:

  1. 数据均衡:哈希拆分可以将数据均衡地分布在不同的表中,避免某一个表数据量过大,从而导致性能问题。
  2. 横向扩展:当数据量增长时,可以通过增加新的表来进行横向扩展,而不需要进行纵向扩展。

缺点:

  1. 就是扩容麻烦,需要重新计算每一行数据对应的哈希值。
  2. 不适用于归档:哈希拆分没有考虑时间因素,因此无法将历史数据归档到单独的表中。

容量(时间)范围算法

  • 按照范围拆分:根据某一列的值来拆分表,比如将 id 从 1 到 1000 的数据拆分到第一个数据库,将 id 从 1001 到 2000 的数据拆分到第二个数据库,依此类推。
  • 时间拆分:根据时间来拆分表,比如将当月的数据拆分到当月的表中,将去年的数据拆分到去年的表中,依此类推。

在这里插入图片描述

优点:

  1. 方便进行横向扩展:当数据量增长时,可以通过增加新的表来进行横向扩展,而不需要进行纵向扩展。
  2. 规则简单,容易理解。
  3. 历史数据可以进行单独的归档。

缺点:

  1. 数据倾斜,数据热点可能存在于某个范围或者时间段中,数据库压力分摊不均匀

范围 + 取模算法

将范围拆分和取模算法结合起来使用。

  • 将数据按照范围放到不同的数据库中。
  • 取模运算,将数据分配到不同的数据表中。

在这里插入图片描述

总结

分库分表是一种数据库设计技术,其目的是为了提高数据库的性能和扩展性。它通过将数据库的表拆分到多个数据库中来实现这一目的。

要根据实际的业务情况进行组合,例如省、市;男、女;年龄;等等都可以作为策略。

  • 增加了系统的复杂性:分库分表会增加系统的复杂性,有时候需要额外的中间件(MyCat)来实现,并且需要在程序中额外处理分库分表的逻辑。分页、排序、跨节点联合查询等等问题。
  • 降低了事务的原子性:由于分库分表会将数据存储在多个数据库或表中,因此在一次事务中可能涉及多个数据库,降低了事务的原子性。如何解决跨库事务问题。
  • 对性能的影响不确定:分库分表并不是一定能提高性能,具体的性能提升取决于实际情况,如果没有正确地进行分库分表,可能会导致性能下降。
  • 需要进行数据迁移:如果需要扩展分库分表的范围,可能需要进行数据迁移,这会增加系统的复杂性和风险。

总之,分库分表有一些优点,但同时也有一些缺点,在实际应用中需要谨慎考虑。

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2174975.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

鸿蒙媒体开发系列12——音频输入设备管理(AudioRoutingManager)

如果你也对鸿蒙开发感兴趣,加入“Harmony自习室”吧!扫描下方名片,关注公众号,公众号更新更快,同时也有更多学习资料和技术讨论群。 有时设备同时连接多个音频输入设备,需要指定音频输入设备进行音频录制&a…

HarmonyOs 学会查看官方文档实现菜单框

1. 学会查看官方文档 HarmonyOS跟上网上的视频学习一段时间后,基本也就入门了,但是有一些操作网上没有找到合适教学的视频,这时,大家就需要养成参考官方文档的习惯了,因为官方的开发文档是我们学习深度任何一门语言或…

OpenCV透视变换:原理、应用与实现

在图像处理与计算机视觉领域,透视变换(Perspective Transformation)是一种强大的工具,它模拟了人眼或相机镜头观看三维空间物体时的透视效果,从而改变图像的视角和形状。本文将详细介绍透视变换的原理、应用场景以及如…

Java_集合_单列集合Collection

第一章.Collection接口 Collection<E> 集合名 new 实现类对象<E>() 常用方法: boolean add(E e) : 将给定的元素添加到当前集合中(我们一般调add时,不用boolean接收,因为add一定会成功) boolean addAll(Collection<? extends E> c) :将另一个集合元素添…

SPI驱动学习七(SPI_Slave_Mode驱动程序框架)

目录 一、SPI_Slave_Mode驱动程序框架1. Master和Slave模式差别1.1 主设备 (Master)1.2 从设备 (Slave)1.3 示例 2. SPI传输概述2.1 数据组织方式2.2 SPI控制器数据结构 3. SPI Slave Mode数据传输过程4. 如何编写程序4.1 设备树4.2 内核相关4.3 简单的示例代码4.3.1 master和s…

测试用例的进阶二

1. 按开发阶段划分 1.1 测试金字塔 从上到下&#xff0c;对于测试人员代码就是要求越来越低&#xff1b; 从下到上&#xff0c;越来越靠近用户&#xff1b; 从下到上&#xff0c;定位问题的成本越来越高&#xff1b; 1.2 单元测试(Unit Testing) 单元测试是对软件组成单元进…

如何使用ssm实现北关村基本办公管理系统的设计与实现

TOC ssm721北关村基本办公管理系统的设计与实现jsp 第一章 绪论 1.1 选题背景 目前整个社会发展的速度&#xff0c;严重依赖于互联网&#xff0c;如果没有了互联网的存在&#xff0c;市场可能会一蹶不振&#xff0c;严重影响经济的发展水平&#xff0c;影响人们的生活质量。…

终端AI大变身:大模型普惠时代的“魔法钥匙”

当AI遇见你的手机&#xff0c;日常秒变科幻片&#xff01; 嘿&#xff0c;小伙伴们&#xff01;想象一下&#xff0c;你早晨醒来&#xff0c;不是先摸手机看时间&#xff0c;而是手机先跟你打招呼&#xff1a;“早安&#xff0c;主人&#xff0c;今天天气不错&#xff0c;适合晨…

支付宝远程收款跳转码接口api之工作证跳转收款码

1、在制作工作证跳转收款之前需要在支付宝上开通工作证 2、然后获取支付宝账户信息、收款码等信息 3、将所需信息填入如下代码之中 const axios require(axios); const authCode 从客户端接收到的授权码;axios({method: post,url: https://openapi.alipay.com/alipay.syst…

前缀和(包括一维和二维)

前缀和 什么是前缀和&#xff1f;用在哪里&#xff1f;有什么好处&#xff1f; 前缀和是在反复求一个序列中不同区间处的元素之和。 例如有以下一个数组&#xff1a;1&#xff0c;2&#xff0c;3&#xff0c;4&#xff0c;5 我们要求a[2]~a[4]&#xff08;不包括a[2]&#xff0…

五、人物持有武器攻击

一、手部添加预制体&#xff08;武器&#xff09; 1、骨骼&#xff08;手&#xff09; 由于人物模型有骨骼和动画&#xff0c;在添加预制体后&#xff0c;会抓握武器 建一个预制体在手部位置 二、添加武器拖尾 下载拖尾特效 赋值特效中的代码&#xff0c;直接使用 清空里面…

计算机毕业设计 助农产品采购平台的设计与实现 Java实战项目 附源码+文档+视频讲解

博主介绍&#xff1a;✌从事软件开发10年之余&#xff0c;专注于Java技术领域、Python人工智能及数据挖掘、小程序项目开发和Android项目开发等。CSDN、掘金、华为云、InfoQ、阿里云等平台优质作者✌ &#x1f345;文末获取源码联系&#x1f345; &#x1f447;&#x1f3fb; 精…

代码随想录算法训练营第60天 | 1、城市间货物运输I,2、城市间货物运输II,3、城市间货物运输III

目录 1、城市间货物运输I 2、城市间货物运输II 3、城市间货物运输III 1、城市间货物运输I 题目描述 某国为促进城市间经济交流&#xff0c;决定对货物运输提供补贴。共有 n 个编号为 1 到 n 的城市&#xff0c;通过道路网络连接&#xff0c;网络中的道路仅允许从某个城市单…

opencv:实现图像的自动裁剪与优化

随着计算机视觉技术的发展&#xff0c;图像处理已成为一项重要的技能。今天&#xff0c;我们将探讨如何使用Python中的OpenCV库来实现对图像的自动裁剪以及一些基本的图像优化技巧。我们的目标是对一张发票图片进行处理&#xff0c;使其更加清晰且便于阅读。 准备工作 首先&a…

【Matlab元胞自动机】《高速公路人工—自动驾驶混行交通流临界特征研究》

一、项目介绍 高速公路是交通流领域研究的重点&#xff0c;自动驾驶车辆的介入势必会对高速公路交通流 产生影响。本文从基础交通流理论研究出发&#xff0c;在三相交通流理论框架下拟定人工-自动 驾驶混行交通流模型规则&#xff0c;进而通过模拟仿真分析自动驾驶车辆对高速公…

AIGC学习笔记—minimind详解+训练+推理

前言 这个开源项目是带我的一个导师&#xff0c;推荐我看的&#xff0c;记录一下整个过程&#xff0c;总结一下收获。这个项目的slogan是“大道至简”&#xff0c;确实很简。作者说是这个项目为了帮助初学者快速入门大语言模型&#xff08;LLM&#xff09;&#xff0c;通过从零…

如何使用ssm实现航空信息管理系统+vue

TOC ssm728航空信息管理系统vue 第一章 课题背景及研究内容 1.1 课题背景 信息数据从传统到当代&#xff0c;是一直在变革当中&#xff0c;突如其来的互联网让传统的信息管理看到了革命性的曙光&#xff0c;因为传统信息管理从时效性&#xff0c;还是安全性&#xff0c;还是…

Cpp::STL—string类的使用与理解(上)(8)

文章目录 前言一、string类对象的构造函数string()string(const char* s)string(size_t n, char c)string(const string& s)string(const string& str&#xff0c;size_t pos&#xff0c;size_t len npos) 二、string类对象的容量操作size与lengthcapacitycapacity返回…

将CSS OKLCH颜色转换为十六进制HEX颜色和十六进制整数格式

我查找了全网都查不到OKLCH&#xff08;&#xff09;方法是颜色转换方法&#xff0c;那今天小编就给大家分享我的方法&#xff0c;可能会有点点误差&#xff0c;但是大体不影响。 程序员必备宝典https://tmxkj.top/#/示例&#xff1a;oklch(0.253267 0.015896 252.418) 得到H…

Go基础学习08-并发安全型类型-通道(chan)深入研究

文章目录 chan基础使用和理解通道模型&#xff1a;单通道、双通道双向通道单向通道单向通道的作用 非缓冲通道 通道基本特性通道何时触发panicChannel和Select结合使用Select语句和通道的关系Select语句的分支选择规则有那些Select和Channel结合使用案例一Select和Channel结合使…