MongoDB的分片集群

news2024/11/18 3:01:26

MongoDB分片技术

介绍

分片（sharding）是MongoDB用来将大型集合分割到不同服务器上采用的方法。分片这种说法起源于关系型数据库。但是实际上非关系型数据库在分片方面相比于传统的关系型数据库更有优势。

与MySQL分库方案对比，MongoDB的最大区别就在于，用户不需要去关心一条数据到底要存储到哪一个机器上，MongoDB会自动帮你完成所有事情，例如自动维护数据在不同服务器之间的均衡。MySQL还需要用户指定分库算法，比如Hash映射

目的

单机的存储一定是有上限的，不论是什么数据库。并且如果将所有的数据都存储在一台存储服务器上，在并发量比较大的情况下，这台存储服务器就很容易挂掉。所以使用分片的目的就是为了将数据尽可能的平摊在多台存储服务器上，减少单台服务器的存储和请求压力

设计思想

分片为应对高吞吐和大数据量的存储提供了方法。

优势

对集群进行抽象，让集群"不可见"

MongoDB自带了一个叫mongos的专有路由进程。mongos就是掌握统一入口的路由器。会自动将客户端发送来的请求准确无误的路由到集群中的一个或者多个服务器上，同时把接受到的响应拼装起来发回到客户端。

保证集群总是可读写

MongoDB通过多种途径来确保集群的高性能和高可用。将MongoDB的分片和复制功能结合使用，在确保数据分片到多台服务器的同时，对分片数据使用复制功能进行冗余备份，达到可靠性

易于拓展

当集群需要更多的资源时，可以很容易做到资源的拓展

分片集群架构特点

组件	说明
Config Server	存储集群所有节点、分片数据路由信息。默认需要配置3个Config Server节点
Mongos	提供对外应用访问，所有操作均通过mongos执行。一般有多个mongos节点。
Mongod	存储应用数据记录。一般有多个Mongod节点，达到数据分片目的。

集群架构图

在这里插入图片描述

mongos

数据路由，和客户端打交道的模块。mongos本身不存储数据，只负责去Config Servers查找当前请求所对应处理的shard是谁

config server

所有shard节点的信息、存取数据的方式，分片的功能的一些配置信息。可以理解为真实数据的元数据

shard

真正的数据存储位置，以chunk为单位存数据

什么是chunk？

在一个shard server内部，MongoDB还是会把数据分为chunkk，每一个chunk代表shard server内部的一部分数据，chunk的产生，会有以下两种用途：

Splitting：当一个chunk过大时，也就是超过chunk size（默认是64M）时，MongoDB后台进程会把这个chunk切分成更小的chunk，从而避免chunk过大的情况

Balancing：在MongoDB中，balance是一个后台进程。负载chunk的迁移，而从均衡各个shard server的负载

分片集群节点的数据分布

使用chunk来存储数据
集群搭建完成后，会默认创建一个chunk，默认64M
存储需求超过64M时，chunk会进行分裂，如果单位时间存储需求很大，设置更大的chunk
chunk会被自动均衡迁移

如何选择chunk size？

小的chunk size：

优点：数据迁移更快，数据分布更均衡。

缺点：数据分裂频繁,一次数据请求可能涉及到多个节点，对资源消耗较大

大的chunk size：

优点：数据分裂少

缺点：数据移动集中，消耗IO资源。通常100-200M

chunk分裂以及迁移

随着数据的增长，其中数据大小超过了配置的chunk size，默认是64M，则这个chunk会自动分裂为两个大小相等的chunk

在这里插入图片描述

这个时候，各个shard上的chunk数量就会不平衡。这时候，mongos中的一个组件balancer，就会自动平衡。把chunk从chunk数量最多的shard节点挪动到数量最少的节点。

在这里插入图片描述

注意⚠️：chunk只会分裂，不会合并，即使后面将chunk size改大了，也不会合并

shard key 分片键

mongoDB中的数据的分片是以集合为基本单位的，集合中的数据通过片键（Shard key）被分成多部分。其实片键就是在集合中选一个键，用该键的值作为数据拆分的依据。

所以一个好的片键对分片至关重要。片键必须是一个索引（其实就是作用在一个字段上）。

对集合进行分片时，你需要选择一个片键，片键是每条记录都必须包含的，且建立了索引的单个字段或复合字段，MongoDB按照片键将数据划分到不同的数据块中，并将数据块均衡地分布到所有分片中

分片键策略

一个自增的片键对写入和数据均匀分布不是很友好，因为自增的片键总会在一个分片上写入，后续达到某个阈值可能会写到别的分片。但是按照片键查询会非常高效。
随机片键对数据的均匀分布效果很好。注意尽量避免在多个分片上进行查询。在所有分片上查询，mongos会对结果进行归并排序。
MongoDB使用基于范围的分片方式或者基于哈希的分片方式。
注意事项
- 分片键是不可变的。
- 分片键必须有索引
- 分片键大小限制512bytes。
- 分片键用于路由查询
- 键的文档（不支持控制插入）

基于范围的分片方式

Sharded Cluster支持将单个集合的数据分散存储到多个shard上，用户可以指定根据集合内文档的某个字段即shard key来进行范围分片（range sharding）

在这里插入图片描述

基于范围的分片的好处在于，数据存储“相近”的数据会被放到同一个chunk中，如果使用范围查询，例如基于创建时间的范围查询，更加友好

基于哈希的分片方式

分片过程中利用哈希索引作为分片的单个键，且哈希分片的片键只能使用一个字段，而基于哈希片键最大的好处就是保证数据在各个节点分布基本均匀。

在这里插入图片描述

对于基于哈希的分片，MongoDB计算一个字段的哈希值，并用这个哈希值来创建数据块。在使用基于哈希分片的系统中，“相近”片键的文档很可能不会存储在用一个数据块中，因此数据的分离性更好一些。

Hash分片与范围分片互补，能将文档随机的分散到各个chunk，充分的拓展写能力，弥补了范围分片的不足，但是不能高效的服务范围查询，所有的范围查询，要分发到后端所有的shard，才能找出满足条件的文档

总结

MongoDB的分片技术

目的
- 解决单机存储容量有限和处理大量数据时的性能瓶颈。
- 将数据分布在多台服务器上，减轻单台服务器的压力
分片集群架构特点：
- 包括 Config Server、Mongos 和 Mongod 组件。
- 分片键用于数据分布和路由查询。
分片键策略：
- 片键必须是一个索引，并且在所有文档中都存在。
- 分片键选择要考虑查询效率和数据分布均匀性。
基于范围和哈希的分片方式：
- 基于范围的分片适用于范围查询。
- 基于哈希的分片能够将数据均匀地分布在各个节点上。
分片集群的数据分布：
- 数据被分割成多个 chunk，并且根据分片键的值存储在不同的分片上。
- 使用 balancer 进程来保持各个分片的数据均衡分布。