万字长文之分库分表里无分库分表键如何查询【后端面试题 | 中间件 | 数据库 | MySQL | 分库分表 | 其他查询】

news2024/11/13 9:30:32

在很多业务里,分库分表键都是根据主要查询筛选出来的,那么不怎么重要的查询怎么解决呢?
比如电商场景下,订单都是按照买家ID来分库分表的,那么商家该怎么查找订单呢?或是买家找客服,客服要找到对应的订单,又该怎么找?

分库分表键的选择

选择进行分库分表的业务字段,有的时候会有多个字段,如何选择合适的字段呢?
关键点就是 根据查询来选择 。例如在订单里面,最常见的是按照买家来进行分库分表,理由是买家查询自己的订单是最主要的场景,这样收益最大。这个完全是业务驱动的,最常用的分库分表键有主键、外键、索引列;如果是范围分库分表,那么日期类型的列也很常用。

重试方案

设置一个重试方案要考虑3个方面的内容:

  1. 重试次数:无限次重试意义并不大
  2. 重试间隔:等间隔重试或指数退避重试。后者指的是重试间隔的时间在增长,一般是两倍增长,面试的时候可以设计一些更加灵活的重试,比如最开始按照两倍增长,再按照50%增长,最后保持最大重试间隔不断重试
  3. 是否允许跨进程重试:在进程A里触发了重试,但是重试一次后,是否可以在进程B上重试第二次?对应到分布式环境上,意味着是否可以在不同的机器上重试。
    在这里插入图片描述
    理论上说,重试是为了避开前一次失败的原因,比如因为偶发的网络抖动失败。设计指数退避的重试策略的原因也很简单,通过不断延长重试时间间隔,有更大的概率避开引发失败的因素。

面试准备

  • 分库分表的主键生成策略
  • 如果使用了后续提到的引入中间表、二次分库分表和使用其他中间件支持查询中的任何一个方案,就需要搞清楚数据同步的方案;换句话说,如果数据不一致,多久会发现,最终要多久才能达成一致。

简历里或面试里提到分库分表方案设计的时候,主动提起是如何解决这个问题的?
面试常见问题引导

  • 问到了主键生成策略,那么你可以说主键生成会影响分库分表的中间表设计。
  • 面试官问到了从其他维度怎么查询数据的问题。例如在订单这里问到了客服怎么查、运营怎么查等。
  • 面试官问到了数据同步和数据一致性,你可以用这里面谈到的场景来展示你是如何解决这些问题的。
  • 面试官问到了如何选择合适的分库分表键,那么你就可以强调非分库分表键的查询更加复杂,需要额外的支持。

基本思路

面试官都是直接问类似的问题,比如介绍了分库分表方案后,提到订单表是按照买家ID来进行分库分表的之后,会顺势问如果卖家要查询ID应该怎么办?
可以按照这个模板来介绍不同的方案

这一类没有按照分库分表键来筛选数据的查询,是需要一些额外的手段来支持的。目前来说,主流的方案是引入中间表、二次分库分表或是使用其他中间件。当然,广播作为一个兜底的解决方案,逼不得已的时候也可以使用。当然,如果自己的主键生成策略比较特殊的话,也能部分支持这一类查询。

接下来按照这些关键词一个一个地问

主键生成策略

有一种主键生成的策略是在主键里面带上分库分表的列,如果能够拿到主键,就应该知道去哪个数据库上的哪个数据表里查找。
比如:在订单ID里带上了买家ID,那么在根据订单ID来查询数据的时候,就可以通过订单ID来判断订单的数据在哪个库哪个表里。
在这里插入图片描述
这是一种很优雅的解决方案**,既不需要任何第三方工具的帮助,也不需要额外存储数据**。但是这个方案只能解决一部分问题,而且大多数时候主键都不是采用这种策略生成的,只能考虑其他方案了,比如引入中间表。

引入中间表

如果想支持按照卖家来搜索,可以引入一个中间表,记录了ID、卖家ID和买家ID三个数据。
在这里插入图片描述
当然也可以考虑把买家ID换成目标库和目标表,这样就省去了根据买家ID来定位目标库和目标表的步骤。
查询的基本步骤也很清晰:

  1. 先在中间表里根据卖家ID找到想要的订单ID和买家ID
  2. 再根据买家ID和订单号找到具体的订单数据

关键词就是中间表:

我们用了一个比较简单的方案,引入中间表来解决卖家查询的问题。中间表主要是根据卖家找到对应的订单,并且根据订单表中的买家ID来确定目标库、目标表,再去对应的数据表里把所有的数据都查询出来。

这个基本方案可以从两个角度刷亮点:
第一个角度是结合主键生成策略,优化中间表的设计

在设计订单主键的时候,将买家ID编码放到了订单ID里,中间表里就可以考虑删除买家ID列。

在这里插入图片描述
第二个角度是讨论中间表的缺陷,最大的缺陷是性能瓶颈

这个方案的一个重大缺陷是中间表的性能瓶颈。如果中间表的数据只插入,不存在更新的话,主要是读瓶颈,那么多加几个从库就可以解决;但是如果中间表的一些列是需要频繁被更新的,那么中间表本身就扛不住写压力,但是中间表是不能分库分表的,因为分库分表后不知道该查询哪张中间表。

在这里插入图片描述
中间表最让人害怕的就是写瓶颈,可以考虑提供一个解决方案:

一般来说,在设计中间表的时候就应该包含尽可能少的列,而且这些列的值应该尽可能不变,会频繁更新的列就不要放了。比如 订单ID这种ID列的基本不会变,状态这种经常变更的就不要放了。

中间表还有两个明显的缺陷:难以适应灵活多变的查询场景,还有数据一致性问题。

中间表还有一个缺陷就是表结构很固定,如果将来需要支持新的查询场景,必须要修改中间表的表结构,大多数情况下会增加新的列。另一方面,中间表本身往往是一个大表,大表改表结构是一个非常危险的事情,当然也可以考虑增加新的中间表,但是治标不治本,而且中间表越多越难维护,数据一致性越难保证。

在这里插入图片描述

进一步思考,中间表要想解决写瓶颈,是不是也可以分库分表?

二次分库分表

二次分库分表指复制出来一份数据,然后尝试再进行分库分表。所以你的系统里会有两份数据,分别按照不同的分库分表规则来存储。比如卖家需要查询订单,那么可以再一次按照卖家ID来进行分库分表。
在这里插入图片描述

原本订单表是按照买家ID来进行分库分表的,但是这种情况下,卖家查询订单很困难。比如卖家查询自己当日成交的订单量,就难以支持。而且卖家查询订单也不能算是一个低频行为,所以尝试把数据复制了一份出去,然后按照卖家ID分库分表。这种方案的主要缺陷就是数据一致性问题,以及数据复制一份需要很多的存储空间。

数据复制一份的问题解决起来也很简单:只需要复制关键表以及关键表的关键字段就可以了。部分表是不需要复制的,比如订单详情表完全不需要复制,在拿到订单ID之后再次查询订单详情表

在这里插入图片描述
即使复制表,也不是所有的字段都需要复制,一些BLOB、TEXT字段占用存储空间多,还不会出现在查询条件里,根本不需要复制。如果真的需要这些字段,可以拿主键和分库分表键二次查询。
在这里插入图片描述
这里的查询也分为了两部,但是要尽量做到大部分查询只查卖家库,只有少部分查询需要回归到买家库。
关键词是减轻存储压力

实际上,为了减轻数据复制带来的存储压力,我们可以考虑只复制一部分表,或者某个表的一部分字段。比如在同步的时候,就不需要同步订单详情表,而是拿到订单基本信息之后再去原本的买家库里面查询订单详情。

在这里可以进一步讨论两次查询引入的问题,以及可行的优化方案

在这种机制之下,如果有一个查询QPS比较高,但是又经常需要回原表查询,可以考虑两个优化方案:首先是在查询的SELECT部分去除一些用不上的列,避免回原表;如果这个措施不可以,就考虑把查询所需的列全部复制过去,避免回原表。第二种优化类似平时用覆盖索引来优化查询。

使用其他中间件

为了支持复杂多样的查询,可以尝试使用别的中间件,比如Elasticsearch。在引入Elasticsearch的时候也可以采用引入中间件方案中的一个优化措施,即只同步部分和搜索相关的字段。

为了减轻 Elasticsearch 的压力,我们选择了只同步部分字段。一些非常庞大的字段,比如说 TEXT 或者 BLOB 本身我们是不会同步过去的。

如果你选了同步部分数据到 Elasticsearch,那么你最终就会面临一个问题:总有一些业务的查询,你完全没办法支持。那这个时候你就只剩下最后一个手段了:广播。

广播

如果不能断定数据可能出现在哪一张表上,那么就直接把全部表上都查询一遍。
在这里插入图片描述
当卖家想要知道自己究竟卖了多少单的时候,就可以在所有的表上都问一遍,汇总之后就是卖家的所有订单

这种做法的缺陷:对数据库的压力太大。只有兜底的时候才使用。

我们还有一些兜底措施,也就是如果一个查询确实没办法使用前面那些方案的时候,那就可以考虑使用广播。也就是说直接把所有的请求发送到所有的候选节点里面,然后收集到的数据就是查询的结果。不过这种方式的缺陷就是对数据库压力很大,很多数据库上的表根本不可能有数据,但是都会收到请求,白白浪费资源。尤其是如果这些查询还会触发锁,那么性能就会更差。

引入中间表和二次分库分表

实际上可以理解为二次分库分表是中间表的升级加强版

  • 中间表是性能瓶颈,害怕维护写频繁的字段;二次分库分表没有这种担忧
  • 中间表本身的字段会很少,往往需要回归原表再次查询数据
  • 二次分库分表成本要更高,因为需要复制更多的字段

一般来说:优先考虑使用中间表,其次考虑只复制部分数据的二次分库分表方案,逼得不得已再考虑全量复制数据的二次分库分表方案

数据同步问题

引入中间表、二次分库分表和使用其他中间件三个解决方案里,都面临同样一个问题:如何进行数据同步?
一般有两种数据同步的思路:

  1. 双写:在写入源数据表的时候,同时写到另一个地方。可以通过改造ORM或分库分表中间件达成。
    在这里插入图片描述
  2. 利用 Canal 之类的框架监听 binlog,然后异步地把数据库同步到其他地方。
    在这里插入图片描述
    不管是双写,还是监控 binlog,都绕不开失败这个话题。那失败的时候怎么办呢?**无非就是各种重试,在重试都失败之后,就人手工介入处理。**在实践中,双写方案用得不多。高端一点的做法就是在重试失败之后,加上一个异步修复程序进一步尝试修复。如果修复程序本身也失败了,那确确实实就只能人手工介入了。这些内容之前我反复提到过,你需要记住。

亮点方案

在这里插入图片描述
在分库分表之后,为了充分满足不同情况下的查询需求,我们公司综合使用了三种方案:引入中间表、二次分库分表和 Elasticsearch。对于卖家查询来说,我们直接复制了一份数据,按照卖家 ID 分库分表。对于一些复杂的查询来说,就是利用 Elasticsearch。还有一些查询是通过建立中间表来满足,比如说商品 ID 和订单 ID 的映射关系。

数据同步方案是使用监听 binlog 的方案。买家库插入数据之后,就会同步一份到卖家库和 Elasticsearch 上。这个过程是有可能失败的,那么在失败之后会有重试机制,如果重试都失败了,那么就只能人手工介入处理了。

这个架构里的另一个问题是:卖家库的数据需要反向同步到买家库吗?
第一个回答是:如果允许卖家修改卖家库的数据,就需要反向同步,架构变成了下图。
在这里插入图片描述

我们是允许卖家直接修改数据的,所以实际上我们卖家库的修改也会同步到其他数据源。因为卖家和买家都可能同时修改各自的库。这里我举一个订单状态修改的例子。
如果买家发起取消订单,然后卖家那边要把状态修改成已发货。那么可能出现买家先修改,然后被卖家覆盖的情况,结果就是两边都是已发货;也有可能出现卖家先修改,然后被买家覆盖的情况,那么结果就是两边都是已取消。
所以类似的场景最好是采用分布式锁和双写方案。比如买家修改状态的时候,要先拿到分布式锁,然后同时修改买家库和卖家库。当然,要是覆盖数据也没关系,那么就还是可以继续采用 Canal 的同步方案。
所以综合来看,允许卖家直接修改卖家库是比较危险的事情,数据一致性问题更加严重

这里提到了数据一致性问题更加严重,这也是为了引出第二个回答,就是除了买家库,其他库都是只读的

也可以考虑只允许从买家库进去修改数据,也就是说,不允许直接修改卖家库的数据。
举个例子,如果卖家想要修改某个订单的数据,那么他需要在卖家库查到订单的信息,但是在修改的时候要拿着订单信息去买家库修改。

在这里插入图片描述

这种做法最大的优点就是简单,没有那么多数据同步和数据一致性方面的问题。缺点就是性能比较差,而且写压力始终都在买家库上

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1942347.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

ubuntu一些好用的开发工具及其配置

1 终端模糊搜索fzf https://github.com/junegunn/fzf 输入某命令,比如 conda ,按下ctrlR,会显示和该命令匹配的历史命令的列表 有了这个工具再也不用记忆太复杂的命令,只需要知道大概几个单词,输入即可搜索。 其搜索…

SSD基本架构与工作原理

SSD的核心由一个或多核心的CPU控制器、DRAM缓存以及多个NAND闪存芯片组成。CPU控制器负责管理所有读写操作,并通过DRAM缓存存储映射表等元数据,以加速寻址过程。 NAND闪存则是数据存储的实际介质,其组织结构从大到小依次为通道(包…

C++实现LRU缓存(新手入门详解)

LRU的概念 LRU(Least Recently Used,最近最少使用)是一种常用的缓存淘汰策略,主要目的是在缓存空间有限的情况下,优先淘汰那些最长时间没有被访问的数据项。LRU 策略的核心思想是: 缓存空间有限&#xff1…

航片转GIS数据自动化管线

近年来,计算机视觉领域的进步已显著改善了物体检测和分割任务。一种流行的方法是 YOLO(You Only Look Once)系列模型。YOLOv8 是 YOLO 架构的演进,兼具准确性和效率,是各种应用的绝佳选择,包括分割卫星航拍…

借助Python将txt文本内容导入到数据库

安装数据库并创建admin账号 #Create mariadb user CREATE USER admin% IDENTIFIED BY password; GRANT SELECT, INSERT, UPDATE, DELETE ON hosts_info.* TO admin%; FLUSH PRIVILEGES;创建库并创建数据表 #创建库 CREATE DATABASE hosts_info; #创建表 CREATE TABLE host_tm…

shell条件语句

一,条件测试 1 . test命令 测试表达式是否成立,若成立返回0,否则返回其他数值 1.1 格式 test 条件表达式 [ 条件表达式 ] 2 . 文件测试 2.1 格式 [ 操作符 文件或目录 ] 例 test -d /home/user 2.2 常用的测试操作符 -d:测试是否为目录(Directory)-e:测试目…

安装Ubuntu24.04服务器版本

Ubuntu系统安装 一.启动安装程序二.执行 Ubuntu Server 安装向导1.选择安装程序语言,通常选择「English」2.设置键盘布局,默认「English US」即可3.选择安装方式 三.配置网络1.按Tab键选择网络接口(例如 ens160),然后按…

== 与 equals 的区别

概念 它的作用是判断两个对象的地址是不是相等,判断两个对象是不是同一个对象基本数据类型比较的是值是否相等引用数据类型比较的是内存地址是否相等 equals() 概念 它的作用也是判断两个对象是否相等。但它一般有两种使用情况:情况1:类没有…

重复图片查找:巧用Python和OpenCV进行图像哈希与汉明距离检测以从海量图片中找出重复图片

重复图片查找:巧用Python和OpenCV进行图像哈希与汉明距离检测以从海量图片中找出重复图片 1. 导言2. 环境准备3. 图像哈希(pHash)原理4. 汉明距离原理5. 代码实现导入必要的库图像哈希计算函数汉明距离计算函数查找重复图片函数示例使用 在处…

昇思25天学习打卡营第14天|计算机视觉

昇思25天学习打卡营第14天 文章目录 昇思25天学习打卡营第14天FCN图像语义分割语义分割模型简介网络特点数据处理数据预处理数据加载训练集可视化 网络构建网络流程 训练准备导入VGG-16部分预训练权重损失函数自定义评价指标 Metrics 模型训练模型评估模型推理总结引用 打卡记录…

Python机器学习入门:从理论到实践

文章目录 前言一、机器学习是什么?二、机器学习基本流程三、使用Python进行机器学习1.数据读取2.数据规范化3. 数据降维(主成分分析)4. 机器学习模型的选择5. 线性回归模型的实现6. 可视化结果 总结 前言 机器学习是人工智能的一个重要分支&…

RabbitMQ的学习和模拟实现|muduo库的介绍和使用

muduo库 项目仓库:https://github.com/ffengc/HareMQ muduo库 muduo库是什么快速上手搭建服务端快速上手搭建客户端上面搭建的服务端-客户端通信还有什么问题?muduo库中的protobuf基于muduo库中的protobuf协议实现一个服务器 muduo库是什么 Muduo由陈硕大佬开…

无人机之摄影构图指南

一、三分法构图 将画面分为三等分,水平线或地平线通常放在1/3处,使得画面看起来更加舒适。主体放在九宫格四个交点(视觉中心)上,突出视觉中心。 二、对称式构图 将画面左右或上下对等分割,形成呼应&…

HTML:lang属性作用

lang作用 用法常见语言代码优点示例结构效果说明分析HTML 基础结构导航栏内容部分总结 扩展 用法 HTML 文档级别: 在 <html> 标签上使用 lang 属性&#xff0c;指定整个文档的语言。 <!DOCTYPE html> <html lang"en"> <head><meta charse…

(C++) 文件读写基础

文章目录 &#x1f5c2;️前言&#x1f4c4;ref&#x1f4c4;访问标记&#x1f5c3;️流打开模式类型 &#x1f5c2;️Code&#x1f4c4;demo&#x1f4c4;分点讲解&#x1f5c3;️打开/关闭&#x1f5c3;️写&#x1f5c3;️读&#x1f5c3;️状态函数 &#x1f5c2;️END&…

javascript 的执行上下文与作用域

目录 1. 初步了解 上下文&#xff08;context&#xff09;2. 全局上下文(global context)3. 上下文栈 (context stack)4. 作用域链( scope chain)5. 作用域(scope)6. 作用域链增强 1. 初步了解 上下文&#xff08;context&#xff09; 上下文(context) 全称 执行上下文 (execut…

linux中RocketMQ安装(单机版)及springboot中的使用

文章目录 一、安装1.1、下载RocketMQ1.2、将下载包上传到linux中&#xff0c;然后解压1.3、修改runserver.sh的jvm参数大小&#xff08;根据自己服务器配置来修改&#xff09;1.4、启动mqnamesrv &#xff08;类似于注册中心&#xff09;1.5、修改runbroker.sh的jvm参数大小&am…

【Linux】进程信号 --- 信号处理

&#x1f466;个人主页&#xff1a;Weraphael ✍&#x1f3fb;作者简介&#xff1a;目前正在学习c和算法 ✈️专栏&#xff1a;Linux &#x1f40b; 希望大家多多支持&#xff0c;咱一起进步&#xff01;&#x1f601; 如果文章有啥瑕疵&#xff0c;希望大佬指点一二 如果文章对…

el-table列的显示与隐藏

需求&#xff1a;实现 表字段的显示与隐藏。效果图 代码实现 写在前面 首先 我部分字段有自定义的排序逻辑&#xff0c;和默认值或者 数据的计算 所以是不能简单的使用 v-for 循环column 。然后 我需要默认展示一部分字段&#xff0c;并且 当表无数据时 提示不能 显示隐藏 …

HTTP 缓存

缓存 web缓存是可以自动保存常见的文档副本的HTTP设备&#xff0c;当web请求抵达缓存时&#xff0c;如果本地有已经缓存的副本&#xff0c;就可以从本地存储设备而不是从原始服务器中提取这个文档。使用缓存有如下的优先。 缓存减少了冗余的数据传输缓存环节了网络瓶颈的问题…