分什么

数据量大分表，并发大分库

分表字段如何选择

如果对交易订单进行分表，可以选择的东西很多，比如说商户id，用户id，地区等等

分表的时候要考虑到数据倾斜问题

数据倾斜

比如说按商户号进行分表，一共500w条数据，结果一个商户就有400w条的数据，这样来说 会有严重的数据倾斜问题

解决方案 二次分表

1. 二次分表

根据多个字段进行路由

查询的时候也是根据多个字段进行路由

2. 隔离

把严重数据偏移的商户数据，单独开一个数据库

数据倾斜问题可能导致 资源利用不均匀。

数据关联查询问题

如果订单表根据用户id进行分表

用户可以查询自己的订单

那商户如何查询用户的订单呢？

毕竟商户没有用户的id

解决方案 数据同步

买家表使用canal 做数据同步，将表中的数据同步到一个新的表（商户表）

这个表里面维护了 商家id 和 订单表的数据，根据商家id进行分库分表

商家不需要写入性能，只需要读取性能比较高

比如说可以采用HBASE数据库进行读取

数据id查询问题

如果我想根据订单id直接查询订单信息，如何进行查询呢？

因为此时，我没有路由的建，用户id

解决方案 基因法

生成id的策略可以定义为 订单id+分表路由

这样根据订单id 就可以知道数据存储在哪张表中

这张表根据订单id去做索引

当然还有别的方法，如果是其他无关紧要的数据，可以放入es，搜索引擎，从而对订单进行搜索

分表算法是什么

选择完分表字段了，如何选择分表算法呢？

直接取模

hash

关键字

一致性hash

一致性hash

一致性hash 很好的解决了，多次分表的问题（原来分128张表，现在增加到256张表）

hash环上面有32^2的虚拟节点

再把数据也hash到环上

id往前找到要进行存储的表

如果此时需要新增表，就通过一致性hash，将要加入的表映射到hash换上

这样会有一部分数据进行查找表的时候会有一定的影响

但是受到的影响已经很小了

这个时候可以再去做数据迁移

估计一下单表数据量

公式：（ 非叶子节点层数 -1）* 一页内非叶子节点索引数 * 叶子节点的数据量

分表后 全局id如何生成

肯定不能用自增去弄，因为自增会导致id重复

UUID

太长了、无业务含义

雪花算法

雪花算法也有个问题

时间回拨，容易造成id的重复生成

分库分表事务

Seata

流程

TM 向 TC申请 XID

TM带着XID调用RM

RM向TC注册分支事务

TM告诉TC是否commit 或者是 rollback

由TC告知RM进行提交

跨库join

指定库名做join

数据冗余

宽表

es