MySQL：互联网公司常用分库分表方案汇总

news2024/11/17 11:35:58

本文目录

一、数据库瓶颈

  • IO瓶颈

  • CPU瓶颈

二、分库分表

  • 水平分库

  • 水平分表

  • 垂直分库

  • 垂直分表

三、分库分表工具

四、分库分表步骤

五、分库分表问题

  • 非partition key的查询问题

  • 非partition key跨库跨表分页查询问题

  • 扩容问题

六、分库分表总结

七、分库分表示例

一、数据库瓶颈

不管是IO瓶颈，还是CPU瓶颈，最终都会导致数据库的活跃连接数增加，进而逼近甚至达到数据库可承载活跃连接数的阈值。在业务Service来看就是，可用数据库连接少甚至无连接可用。接下来就可以想象了吧（并发量、吞吐量、崩溃）。

1、IO瓶颈

第一种：磁盘读IO瓶颈，热点数据太多，数据库缓存放不下，每次查询时会产生大量的IO，降低查询速度 -> 分库和垂直分表。

第二种：网络IO瓶颈，请求的数据太多，网络带宽不够 -> 分库。

2、CPU瓶颈

第一种：SQL问题，如SQL中包含join，group by，order by，非索引字段条件查询等，增加CPU运算的操作 -> SQL优化，建立合适的索引，在业务Service层进行业务计算。

第二种：单表数据量太大，查询时扫描的行太多，SQL效率低，CPU率先出现瓶颈 -> 水平分表。

二、分库分表

1、水平分库

概念：以字段为依据，按照一定策略（hash、range等），将一个库中的数据拆分到多个库中。

结果：

  • 每个库的结构都一样；

  • 每个库的数据都不一样，没有交集；

  • 所有库的并集是全量数据；

场景：系统绝对并发量上来了，分表难以根本上解决问题，并且还没有明显的业务归属来垂直分库。

分析：库多了，io和cpu的压力自然可以成倍缓解。

2、水平分表

概念：以字段为依据，按照一定策略（hash、range等），将一个表中的数据拆分到多个表中。

结果：

  • 每个表的结构都一样；

  • 每个表的数据都不一样，没有交集；

  • 所有表的并集是全量数据；

场景：系统绝对并发量并没有上来，只是单表的数据量太多，影响了SQL效率，加重了CPU负担，以至于成为瓶颈。推荐：一次SQL查询优化原理分析

分析：表的数据量少了，单次SQL执行效率高，自然减轻了CPU的负担。

3、垂直分库

概念：以表为依据，按照业务归属不同，将不同的表拆分到不同的库中。

结果：

  • 每个库的结构都不一样；

  • 每个库的数据也不一样，没有交集；

  • 所有库的并集是全量数据；

场景：系统绝对并发量上来了，并且可以抽象出单独的业务模块。

分析：到这一步，基本上就可以服务化了。例如，随着业务的发展一些公用的配置表、字典表等越来越多，这时可以将这些表拆到单独的库中，甚至可以服务化。再有，随着业务的发展孵化出了一套业务模式，这时可以将相关的表拆到单独的库中，甚至可以服务化。

4、垂直分表

概念：以字段为依据，按照字段的活跃性，将表中字段拆到不同的表（主表和扩展表）中。

结果：

  • 每个表的结构都不一样；

  • 每个表的数据也不一样，一般来说，每个表的字段至少有一列交集，一般是主键，用于关联数据；

  • 所有表的并集是全量数据；

场景：系统绝对并发量并没有上来，表的记录并不多，但是字段多，并且热点数据和非热点数据在一起，单行数据所需的存储空间较大。以至于数据库缓存的数据行减少，查询时会去读磁盘数据产生大量的随机读IO，产生IO瓶颈。

分析：可以用列表页和详情页来帮助理解。垂直分表的拆分原则是将热点数据（可能会冗余经常一起查询的数据）放在一起作为主表，非热点数据放在一起作为扩展表。这样更多的热点数据就能被缓存下来，进而减少了随机读IO。拆了之后，要想获得全部数据就需要关联两个表来取数据。

但记住，千万别用join，因为join不仅会增加CPU负担并且会讲两个表耦合在一起（必须在一个数据库实例上）。关联数据，应该在业务Service层做文章，分别获取主表和扩展表数据然后用关联字段关联得到全部数据。

三、分库分表工具

  • sharding-sphere：jar，前身是sharding-jdbc；

  • TDDL：jar，Taobao Distribute Data Layer；

  • Mycat：中间件。

注：工具的利弊，请自行调研，官网和社区优先。

四、分库分表步骤

根据容量（当前容量和增长量）评估分库或分表个数 -> 选key（均匀）-> 分表规则（hash或range等）-> 执行（一般双写）-> 扩容问题（尽量减少数据的移动）。

扩展：MySQL：分库分表与分区的区别和思考

五、分库分表问题

1、非partition key的查询问题

基于水平分库分表，拆分策略为常用的hash法。

端上除了partition key只有一个非partition key作为条件查询

映射法

基因法

注：写入时，基因法生成user_id，如图。关于xbit基因，例如要分8张表，23=8，故x取3，即3bit基因。根据user_id查询时可直接取模路由到对应的分库或分表。

根据user_name查询时，先通过user_name_code生成函数生成user_name_code再对其取模路由到对应的分库或分表。id生成常用snowflake算法。

端上除了partition key不止一个非partition key作为条件查询

映射法

冗余法

注：按照order_id或buyer_id查询时路由到db_o_buyer库中，按照seller_id查询时路由到db_o_seller库中。感觉有点本末倒置！有其他好的办法吗？改变技术栈呢？

后台除了partition key还有各种非partition key组合条件查询

NoSQL法

冗余法

2、非partition key跨库跨表分页查询问题

基于水平分库分表，拆分策略为常用的hash法。

注：用NoSQL法解决（ES等）。

3、扩容问题

基于水平分库分表，拆分策略为常用的hash法。

水平扩容库（升级从库法）

注：扩容是成倍的。

水平扩容表（双写迁移法）

  • 第一步：（同步双写）修改应用配置和代码，加上双写，部署；

  • 第二步：（同步双写）将老库中的老数据复制到新库中；

  • 第三步：（同步双写）以老库为准校对新库中的老数据；

  • 第四步：（同步双写）修改应用配置和代码，去掉双写，部署；

注：双写是通用方案。

六、分库分表总结

  • 分库分表，首先得知道瓶颈在哪里，然后才能合理地拆分（分库还是分表？水平还是垂直？分几个？）。且不可为了分库分表而拆分。

  • 选key很重要，既要考虑到拆分均匀，也要考虑到非partition key的查询。

  • 只要能满足需求，拆分规则越简单越好。

七、分库分表示例

示例GitHub地址：https://github.com/littlecharacter4s/study-sharding

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/111590.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

因特网概述

因特网概述

目录1 网络、互连网（互联网）和因特网2 因特网发展的三个阶段3 因特网的标准化工作4 因特网的组成1 网络、互连网（互联网）和因特网 网络（Network）由若干结点（Node）和连接这些结点的链…
阅读更多...
2022年山东省职业院校技能大赛高职组“网络系统管理”赛项规程

2022年山东省职业院校技能大赛高职组“网络系统管理”赛项规程

2022年山东省职业院校技能大赛高职组“网络系统管理”赛项规程一、赛项名称赛项名称：网络系统管理赛项组别：高职组赛项类别：电子与信息大类二、竞赛目的本赛项旨在借鉴世界技能大赛的办赛理念与技术规程，通过竞赛让参赛选手经历一…
阅读更多...
论文导读 | 关于内存子图匹配算法的调研

论文导读 | 关于内存子图匹配算法的调研

前言 近年来，图数据结构在学术界和工业界的应用越来越广泛，包括社交网络分析、道路分析、化学分子合成、生物蛋白质网络分析、金融欺诈检测等等。子图匹配（Subgraph Matching）是图分析领域研究的一个重要课题，其旨在一…
阅读更多...
批发进销存软件哪个好用？求测评

批发进销存软件哪个好用？求测评

产品产量增加，在其他条件不变的情况下，就会形成规模效应，这样产品的生产成本就会降低。批发市场就可以对接大批量生产和出售单价更低的商品。而零售业往往也会采取批发货物的方式来降级成本。但是产品种类多，对于的供应商和客户也…
阅读更多...
FactoryBean

FactoryBean

FactoryBean ①简介 FactoryBean是Spring提供的一种整合第三方框架的常用机制。和普通的bean不同，配置一个FactoryBean类型的bean，在获取bean的时候得到的并不是class属性中配置的这个类的对象，而是getObject()方法的返回值。通过这种机制&…
阅读更多...
网友：我30多岁了，现在转行学编程来得及吗？

网友：我30多岁了，现在转行学编程来得及吗？

这些年，互联网行业的变化发展很快，很多公司也是借助互联网发展的大趋势发展的非常好。 水涨船高，行业好，意味着互联网行业的从业者的工资也就跟着高，很多互联网行业刚入门的月薪基本都已经过万了，一些传统行…
阅读更多...
Android设计模式详解之命令模式

Android设计模式详解之命令模式

前言 命令模式是行为型设计模式之一； 定义：将一个请求封装成一个对象，从而让用户使用不同的请求把客户端参数化；对请求排队或者记录日志，以及支持可撤销的操作； 使用场景： 需要抽象出待执行…
阅读更多...
自动化测试高手-价值篇

自动化测试高手-价值篇

自动化测试的最终交付价值是什么：自动化测试项目的最终交付价值是它产生的收益，也就是投入回报率比，ROI，一个成功的自动化测试项目必然是获得了高ROI的收益。 自动化测试高手就是要做出成功的自动化测试项目，不仅要写代…
阅读更多...
linux命令date

linux命令date

linux命令date 文章目录linux命令date一、date二、使用（一）结合格式，格式输出数据（二）结合选项（options）一、date date命令可以获取到当前系统时间，主要是为了shell脚本的 date用法…
阅读更多...
Html中锚点的使用

Html中锚点的使用

概述 URL是由多个部分组成。包括协议、主机（域名）、端口、路径、查询参数和锚点 https://www.example.com:80/path/to/myfile.html?key1value1&key2value2#anchor锚点（anchor）是网页内部的定位点，使用 # 加上锚…
阅读更多...
3_Spring_IOC原理分析_重要

3_Spring_IOC原理分析_重要

IOC底层原理 1 XML解析技术读取配置文件 <bean id"empDao" class"com.msb.dao.impl.EmpDaoImpl"></bean> 将上面的信息读取进入程序 对象的ID ,一个是对象的类的全路径名 2 反射技术实例化对象,放到容器中 获得类的字节码 Class clazz Clas…
阅读更多...
论文导读 | GPU与LSM-tree的优化--以加速compaction和scan为例

论文导读 | GPU与LSM-tree的优化--以加速compaction和scan为例

GPU是一种新硬件&#xff0c;相比较于CPU&#xff0c;有较高的读写带宽和更强的并行能力&#xff0c;在很多领域都有非常好的应用。今天我们以LSM-tree上的compaction和scan为例&#xff0c;介绍GPU如何在加速数据库的操作中发挥作用。 一、GPU的发展历程 图1&#xff1a;GPU的…
阅读更多...
基于uniapp+ssm+mysql一站式婚庆服务平台app设计

基于uniapp+ssm+mysql一站式婚庆服务平台app设计

开发软件&#xff1a;Idea HBuilder mysql 开发技术&#xff1a; SSM Vue uniapp 用户功能&#xff1a; 注册登陆&#xff0c;填写基本的个人信息&#xff0c;就可以注册&#xff0c;注册完成后即可登陆 查看店铺&#xff0c;在首页有很多的店铺&#xff0c;有婚纱店&…
阅读更多...
PHP 精度计算问题（精确算法）

PHP 精度计算问题（精确算法）

1. PHP 中的精度计算问题 当使用 php 中的 -*/ 计算浮点数时, 可能会遇到一些计算结果错误的问题 这个其实是计算机底层二进制无法精确表示浮点数的一个 bug, 是跨域语言的, 比如 js 中的 舍入误差 所以大部分语言都提供了用于精准计算的类库或函数库, 比如 php 中的 bc 高精…
阅读更多...
逻辑回归、激活函数sigmoid、损失及优化、案例代码实现

逻辑回归、激活函数sigmoid、损失及优化、案例代码实现

一、逻辑回归 逻辑回归&#xff08;Logistic Regression&#xff09;&#xff1a;是机器学习中的一种分类模型&#xff0c;是一种分类算法&#xff0c;与回归之间有一定的联系&#xff0c;由于算法的简单和高效&#xff0c;在实际中应用非常广泛 应用场景&#xff1a;广告点击…
阅读更多...
Web入门开发【八】- 学习探索

Web入门开发【八】- 学习探索

Web案例详解 简单的个人静态网站&#xff0c;这是一个单页的简单静态web网站&#xff0c;前面已经详细讲过。 这个案例是动态的企业官网&#xff0c;增加了多菜单&#xff0c;动态登录等功能&#xff0c;是入门学习者进阶的实践必做项目。 我们再来看企业后台管理系统&#xff…
阅读更多...
Python Yolov5火焰烟雾识别源码分享

Python Yolov5火焰烟雾识别源码分享

程序示例精选 Python Yolov5火焰烟雾识别 如需安装运行环境或远程调试&#xff0c;见文章底部微信名片&#xff0c;由专业技术人员远程协助&#xff01; 前言 Yolov5比较Yolov4,Yolov3等其他识别框架&#xff0c;速度快&#xff0c;代码结构简单&#xff0c;识别效率高&#x…
阅读更多...
操作系统开启分段并进入保护模式

操作系统开启分段并进入保护模式

段基地址 32位的地址&#xff0c;如果没开启分页&#xff0c;指的是当前段所在的物理地址&#xff0c;否则是分页前的虚拟地址 G(Granurality) 值为1表示段界限以4K为单位&#xff0c;否则以字节为单位 段界限 描述段的大小size-1,单位由G决定。 D/B 对于代码段&#xf…
阅读更多...
【Linux】缓冲区/磁盘inode/动静态库

【Linux】缓冲区/磁盘inode/动静态库

目录 一、缓冲区 1、缓冲区的概念 2、缓冲区的意义 3、缓冲区刷新策略 4、同一份代码&#xff0c;打印结果不同 5、仿写FILE 5.1myFILE.h 5.2myFILE.c 5.3main.c 6、内核缓冲区 二、了解磁盘 1、磁盘的物理结构 2、磁盘的存储结构 2.1磁盘的定位 3、磁盘的抽象…
阅读更多...
【openGauss】浅试openGauss3.1.0中有关mysql兼容的部分特性

【openGauss】浅试openGauss3.1.0中有关mysql兼容的部分特性

前言 在9月30号&#xff0c;openGauss推出了3.1.0这一预览版&#xff08;注意&#xff0c;openGauss的“x.y.z”版本号&#xff0c;“y”的位置如果不是0&#xff0c;就不是长期支持版&#xff0c;不建议生产使用&#xff09;。 这个版本增加了不少新内容&#xff0c; https:/…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023