MySQL 分库分表实战之ShardingSpare

news2024/11/14 21:52:14

文章目录

    • 概要
    • 一、安装
    • 二、配置
        • 2.1、 通用配置
        • 2.2、 分片配置
        • 2.3、读写分离
    • 三、演练
        • 3.1、读写分离
        • 3.2、分库分表
        • 3.3、分库分表+读写分离
    • 4、总结

概要

市面上MySQL分库分表中间件还是很多的，主要分为两大类：应用层依赖类中间件（比如shardingsphere-jdbc）、中间层代理类中间件(比如shardingsphere-proxy)。

  • 应用层依赖类中间件
    即中间件在数据库连接库基础之上，增加了一层封装。我们使用时，以shardingsphere-jdbc为例，需要先引入一个jar包。中间件接收持久层产生的sql，同样对sql进行分析等操作，然后才落实到具体的库上。
    库
    优点：性能损耗低（直连数据库），去中心化（每个Application使用各自的分库分表库）。
    缺点：异构语言不是很友好，连接数高（每个Application都要与数据库建立连接）。
  • 中间层代理类中间件
    即把中间件作为一个独立的服务，它将接收到的SQL 语句做了一些特定的分析：如分片分析、路由分析、读写分离分析、缓存分析等，然后将此 SQL 发往后端的真实数据库，并将返回的结果做适当的处理，最终再返回给用户。
    代理
    优点：异构语言友好，连接数低（只需proxy与数据库建立连接）。
    优点：性能损耗略高（需要proxy转发去连数据库），中心化（proxy需要集群部署，运维难度增加）。

市面上常见的分库分表中间件很多，但是国内主要是mycat和shardingsphere，相较而言，shardingsphere已经是Apache顶级项目，维护稳定，功能齐全，支持云原生，更值得学习。

在上一篇分享了MySQL分库分表的一些理论知识，本文主要是分享shardingsphere的实战内容。
官方文档
本文基于 shardingsphere V5.3.1探索

一、安装

根据官方文档提示，主要有两种方式：二进制安装和docker安装；
本人是使用docker的方式，如下：

  1. 拉取镜像
docker pull apache/shardingsphere-proxy
  • 拷贝配置

起一个临时容器 tmp,把配置模板从tmp中拷贝到本地目录下，然后删除tmp。

mkdir -p /etc/shardingsphere-proxy/conf
docker run -d --name tmp --entrypoint=bash apache/shardingsphere-proxy
docker cp tmp:/opt/shardingsphere-proxy/conf /etc/shardingsphere-proxy/conf
docker rm tmp
  • 引入依赖
    下载连接mysql的jar包，本人mysql版本是V5.6.28,所以选的jar包版本是V5.1.49
mkdir -p /etc/shardingsphere-proxy/ext-lib

下载jar包后放入到 /etc/shardingsphere-proxy/ext-lib 目录下

  • 启动容器
docker run -d \
    -v /etc/shardingsphere-proxy/conf:/opt/shardingsphere-proxy/conf \
    -v /etc/shardingsphere-proxy/ext-lib:/opt/shardingsphere-proxy/ext-lib \
    -e PORT=3305 -p 3305:3305 apache/shardingsphere-proxy:latest

如此shardingsphere-proxy容器就起来了，但是配置文件还没调整，放在下一章讲解。

二、配置

我们ll /etc/shardingsphere-proxy/conf/ 可以看到所有的配置文件，如下：

  • config-database-discovery.yaml #高可用。健康检查，db节点没有心跳就不会再转发sql到该节点，保证高可用
  • config-encrypt.yaml #数据加密
  • config-mask.yaml #数据脱敏
  • config-readwrite-splitting.yaml #读写分离
  • config-shadow.yaml #影子库配置
  • config-sharding.yaml #分片配置（分库分表规则）
  • server.yaml #通用配置

2.1、 通用配置

官方文档-模式类型
官方文档-认证和授权
官方文档-属性配置
官方文档-其他配置

######################################################################################################
# If you want to configure governance, authorization and proxy properties, please refer to this file.
######################################################################################################
mode:
  type: Standalone #运行模式类型。可选配置：Standalone、Cluster，个人测试就选择了单机模式
  repository: # 持久化仓库配置
    type: JDBC #持久化仓库类型
    props: # 持久化仓库所需属性
      foo_key: foo_value
      bar_key: bar_value
authority: #认证和授权 
  users:  #账号信息
    - user: root
      password: root
    - user: sharding
      password: sharding
  privilege: #权限
    type: ALL_PERMITTED

props: #属性配置
  max-connections-size-per-query: 1
  kernel-executor-size: 16  # Infinite by default.
  proxy-frontend-flush-threshold: 128  # The default value is 128.
  proxy-hint-enabled: true
  sql-show: true
  check-table-metadata-enabled: false
#其他配置
transaction:  #分布式事务
  defaultType: XA
  providerType: Atomikos

sqlParser: #SQL 解析
  sqlCommentParseEnabled: false
  sqlStatementCache:
    initialCapacity: 2000
    maximumSize: 65535
  parseTreeCache:
    initialCapacity: 128
    maximumSize: 1024

2.2、 分片配置

官方文档-数据源配置
官方文档-分片规则

######################################################################################################
# Here you can configure the rules for the proxy. This example is configuration of sharding rule.
######################################################################################################
#数据源配置
databaseName: order #数据源配置（即对外的数据库名称），可配置多个（即分库）
dataSources: #测试就用了一个MySQL实例
  ds_0:
    url: jdbc:mysql://127.0.0.1:3306/order_0?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=UTF-8
    username: root
    password: 123456
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 10
    minPoolSize: 1
  ds_1:
    url: jdbc:mysql://127.0.0.1:3306/order_1?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=UTF-8
    username: root
    password: 123456
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 10
    minPoolSize: 1
#分片规则（即分表）
rules:
- !SHARDING
  tables:
    t_order: 
      actualDataNodes: ds_${0..1}.t_order_${0..1}  #由数据源名 + 表名组成。0..1表示分成两个库or表
      tableStrategy:
        standard:
          shardingColumn: order_id
          shardingAlgorithmName: t_order_inline
      keyGenerateStrategy: 
        column: order_id   # 自增列名称，缺省表示不使用自增主键生成器
        keyGeneratorName: snowflake
    t_order_item:
      actualDataNodes: ds_${0..1}.t_order_item_${0..1}
      tableStrategy:
        standard:
          shardingColumn: order_id
          shardingAlgorithmName: t_order_item_inline
      keyGenerateStrategy:
        column:  # 自增列名称，缺省表示不使用自增主键生成器
        keyGeneratorName: snowflake
    t_order_setting:
      actualDataNodes: ds_${0..1}.t_order_setting_${0..1}
      tableStrategy:
        complex:  # 用于多分片键的复合分片场景
          shardingColumns: user_id,id
          shardingAlgorithmName: t_order_setting_complex_inline
      keyGenerateStrategy:
        column: id
        keyGeneratorName: snowflake
      #auditStrategy:
        #auditorNames:
          #- sharding_key_required_auditor
        #allowHintDisable: true
  #自动分片      
  autoTables:
    t_order_shipping:
      actualDataSources: ds_${0..1}
      shardingStrategy:
        standard:
          shardingColumn: id
          shardingAlgorithmName: t_order_shipping_mod
  #绑定表规则列表
  bindingTables:
    - t_order,t_order_item
  #broadcastTables:
  #分库算法 
  defaultDatabaseStrategy:
    standard:
      shardingColumn: user_id
      shardingAlgorithmName: database_inline
  #分表算法    
  defaultTableStrategy:
    none:
  #defaultAuditStrategy:
   # auditorNames:
     # - sharding_key_required_auditor
    #allowHintDisable: true
  shardingAlgorithms:
    database_inline:
      type: INLINE
      props:
        algorithm-expression: ds_${user_id % 2}
    t_order_inline:
      type: INLINE
      props:
        algorithm-expression: t_order_${order_id % 2}
    t_order_item_inline:
      type: INLINE
      props:
        algorithm-expression: t_order_item_${order_id % 2}
    t_order_setting_complex_inline:
      type: COMPLEX_INLINE
      props:
        sharding-columns: user_id,id
        algorithm-expression: t_order_setting_${(user_id / 2 + id / 2) % 2}
    t_order_shipping_mod:
      type: MOD
      props:
        sharding-count: 4  #自动分片数量     
  # 分布式序列算法配置      
  keyGenerators:
    snowflake:
      type: SNOWFLAKE
  # 分片审计算法配置    
  auditors:
    sharding_key_required_auditor:
      type: DML_SHARDING_CONDITIONS

2.3、读写分离

官方文档-读写分离

######################################################################################################
# Here you can configure the rules for the proxy. This example is configuration of readwrite-splitting rule.
######################################################################################################
#数据源配置
databaseName: test_rw_split #数据源配置（即对外的数据库名称），可配置一个主库多个从库，这里只配置了一个从库做测试
dataSources:
  ds_write_0:
    url: jdbc:mysql://127.0.0.1:3306/test?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=UTF-8
    username: root
    password: sangfordb
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 10
    minPoolSize: 1
  ds_read_0_0:
    url: jdbc:mysql://127.0.0.1:3307/test?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=UTF-8
    username: root
    password: 123456
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50
    minPoolSize: 1  
#读写分离配置    
rules:
- !READWRITE_SPLITTING
  dataSources:
    readwrite_ds:
      staticStrategy:
        writeDataSourceName: ds_0
        readDataSourceNames:
          - ds_read_0_0
      loadBalancerName: random
  loadBalancers: #从库负载均衡算法，有三种
    random:
      type: RANDOM #随机
    roundRobin:
      type: ROUND_ROBIN # 轮询
    weight:   
      type: WEIGHT #权重
      props:
        ds_read_0_0: 100

三、演练

第二章揭的配置调整好后，就重启容器，然后就可以用mysql cli连shardingspher-proxy实例了。
mysql -h 127.0.0.1 -P 3305 -uroot -p
密码也是 root。
进入后执行show databases：

mysql> show databases;
+--------------------+
| schema_name        |
+--------------------+
| information_schema |
| mysql              |
| order              |
| performance_schema |
| shardingsphere     |
| sys                |
| test_rw_split      |
+--------------------+
7 rows in set (0.01 sec)

可以看到分库分表的库order和读写分离的库test_rw_split 都有了

3.1、读写分离

读写分离测试前首先保证 3306和3307两个MySQL实例 主从复制正常，教程见主从搭建。
3306和3307两个MySQL实例都开启general_log，便于观察是否确实在从节点进行读，在主节点进行写

  • 建库
 CREATE DATABASE IF NOT EXISTS test DEFAULT CHARACTER SET utf8mb4 DEFAULT COLLATE utf8mb4_general_ci;
  • 建表
CREATE TABLE `test` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(15) NOT NULL,
  `pwd` varchar(15) NOT NULL,
  `flag` tinyint(3) DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `ind_flag` (`flag`)
) ENGINE=InnoDB AUTO_INCREMENT=32 DEFAULT CHARSET=utf8mb4
  • 写：
mysql> insert into test(name,pwd,flag)values("ers","dft",68);

docker logs -f b58cdf57b50d
可以在shardingspher-proxy日志上看到：

[INFO ] 2023-07-02 10:48:07.261 [Connection-2-ThreadExecutor] ShardingSphere-SQL - Logic SQL: insert into test(name,pwd,flag)values(“ers”,“dft”,100)
[INFO ] 2023-07-02 10:48:07.261 [Connection-2-ThreadExecutor] ShardingSphere-SQL - Actual SQL: ds_0 ::: insert into test(name,pwd,flag)values(“ers”,“dft”,100)

可以确实是在主节点执行，观察主从节点general_log也可以确定。

  • 读：
mysql> use test_rw_split;
mysql> select * from test where id=31\G;
*************************** 1. row ***************************
  id: 31
name: ers
 pwd: dft
flag: 68

可以在shardingspher-proxy日志上看到：

[INFO ] 2023-07-02 10:45:20.021 [Connection-2-ThreadExecutor] ShardingSphere-SQL - Logic SQL: select * from test where id=31
[INFO ] 2023-07-02 10:45:20.022 [Connection-2-ThreadExecutor] ShardingSphere-SQL - Actual SQL: ds_read_0_0 ::: select * from test where id=31

可以看到确实是在从节点执行，观察主从节点general_log也可以确定。

目前支持一主多从的架构，不支持多主多从的架构

3.2、分库分表

  • 建库
 CREATE DATABASE IF NOT EXISTS order DEFAULT CHARACTER SET utf8mb4 DEFAULT COLLATE utf8mb4_general_ci;
  • 建表
CREATE TABLE `t_order` (
`id` bigint(20) NOT NULL,
`order_no` varchar(30) DEFAULT NULL,
`user_id` bigint(20) DEFAULT NULL,
`amount` decimal(10,2) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

CREATE TABLE `t_order_item` (
`id` bigint(20) NOT NULL,
`order_id` bigint(20) NOT NULL,
`product_id` bigint(20) DEFAULT NULL,
`num` int(11) DEFAULT NULL comment '商品数量',
`price` decimal(10,2) DEFAULT NULL comment '商品单价',
`amount` decimal(10,2) DEFAULT NULL comment '商品总价',
PRIMARY KEY (`id`),
KEY `order_id` (`order_id`)
) ENGINE=InnoDB  DEFAULT CHARSET=utf8mb4;

CREATE TABLE `t_order_shipping` (
`id` bigint(20) NOT NULL,
`order_id` bigint(20) NOT NULL,
`from_addr`  varchar(120) DEFAULT NULL comment '出发地',
`to_addr`  varchar(120) DEFAULT NULL comment '目的地',
PRIMARY KEY (`id`),
KEY `order_id` (`order_id`)
) ENGINE=InnoDB  DEFAULT CHARSET=utf8mb4;

CREATE TABLE `t_order_setting` (
`id` bigint(20) NOT NULL,
`user_id` bigint(20) NOT NULL,
`down_order`  tinyint DEFAULT NULL comment '开启订单下载权限',
PRIMARY KEY (`id`),
) ENGINE=InnoDB  DEFAULT CHARSET=utf8mb4;
  • 结果
    以建表t_order为例，到3306 MySQL实例上查看可得到：
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| order_0            |
| order_1            |
| performance_schema |
| test               |
+--------------------+

mysql> use order_0;
Database changed
mysql> show tables;
+-------------------+
| Tables_in_order_0 |
+-------------------+
| t_order_0         |
| t_order_1         |
| t_order_item_0    |
| t_order_item_1    |
+-------------------+

可以看到建库建表都按照预设的分库分表规则自动在分片库上创建了；

  • 写
INSERT INTO `order`.`t_order`(`order_no`, `user_id`, `amount`) VALUES ('OID20230702001', 179468213359476736,22.01);

docker logs -f b58cdf57b50d
可以在shardingspher-proxy日志上看到：

[INFO ] 2023-07-02 10:14:36.788 [Connection-2-ThreadExecutor] ShardingSphere-SQL - Logic SQL: INSERT INTO order.t_order(order_no, user_id, amount) VALUES (‘OID20230702001’, 179468213359476736,22.01)
[INFO ] 2023-07-02 10:14:36.788 [Connection-2-ThreadExecutor] ShardingSphere-SQL - Actual SQL: ds_0 ::: INSERT INTO t_order_0(order_no, user_id, amount, order_id) VALUES (‘OID20230702001’, 179468213359476736, 22.01, 882206737124294656)

我们预设的分库是user_id % 2，分表是order_id % 2，结果完全符合要求，并且order_id按照雪花算法自动生成了

  • 读
    1）命中分片键
 select * from t_order where user_id=179468213359476736 and order_id=779468213359476736\G;

shardingspher-proxy日志：

[INFO ] 2023-07-02 10:21:39.323 [Connection-2-ThreadExecutor] ShardingSphere-SQL - Logic SQL: select * from t_order where user_id=179468213359476736 and order_id=779468213359476736
[INFO ] 2023-07-02 10:21:39.324 [Connection-2-ThreadExecutor] ShardingSphere-SQL - Actual SQL: ds_0 ::: select * from t_order_0 where user_id=179468213359476736 and order_id=779468213359476736

命中分片键 user_id+order_id，只查询了ds_0的t_order_0表。

2）没有命中分片键

select * from t_order where order_no="OID20230702001"\G;

shardingspher-proxy日志：

[INFO ] 2023-07-02 10:25:49.429 [Connection-2-ThreadExecutor] ShardingSphere-SQL - Logic SQL: select * from t_order where order_no=“OID20230702001”
[INFO ] 2023-07-02 10:25:49.430 [Connection-2-ThreadExecutor] ShardingSphere-SQL - Actual SQL: ds_0 ::: select * from t_order_0 where order_no=“OID20230702001” UNION ALL select * from t_order_1 where order_no=“OID20230702001”
[INFO ] 2023-07-02 10:25:49.430 [Connection-2-ThreadExecutor] ShardingSphere-SQL - Actual SQL: ds_1 ::: select * from t_order_0 where order_no=“OID20230702001” UNION ALL select * from t_order_1 where order_no=“OID20230702001”

没有命中分片键 user_id+order_id，需要到所有的分片查询。

3.3、分库分表+读写分离

官方文档-混合规则

只需将2.2小节和2.3小节的配置合在一起即可，如下：

######################################################################################################
# Here you can configure the rules for the proxy. This example is configuration of sharding rule.
######################################################################################################
#数据源配置
databaseName: order
dataSources:
  ds_0:
    url: jdbc:mysql://200.200.107.241:3306/order_0?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=UTF-8
    username: root
    password: sangfordb
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 10
    minPoolSize: 1
  ds_read_0_0:
    url: jdbc:mysql://200.200.107.241:3307/order_0?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=UTF-8
    username: root
    password: 123456
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50
    minPoolSize: 1  
  ds_1:
    url: jdbc:mysql://200.200.107.241:3306/order_1?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=UTF-8
    username: root
    password: sangfordb
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 10
    minPoolSize: 1
  ds_read_1_0:
    url: jdbc:mysql://200.200.107.241:3307/order_0?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=UTF-8
    username: root
    password: 123456
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50
    minPoolSize: 1   
rules:
 - !SHARDING
  tables:
    t_order: 
      actualDataNodes: ds_rw_${0..1}.t_order_${0..1} #读写分离
      tableStrategy:
        standard:
          shardingColumn: order_id
          shardingAlgorithmName: t_order_inline
      keyGenerateStrategy:
        column: order_id
        keyGeneratorName: snowflake
    t_order_item:
      actualDataNodes: ds_rw_${0..1}.t_order_item_${0..1}
      tableStrategy:
        standard:
          shardingColumn: order_id
          shardingAlgorithmName: t_order_item_inline
      keyGenerateStrategy:
        column: order_id
        keyGeneratorName: snowflake
    t_order_setting:
      actualDataNodes: ds_rw_${0..1}.t_order_setting_${0..1}
      tableStrategy:
        complex:
          shardingColumns: user_id,id
          shardingAlgorithmName: t_order_setting_complex_inline
      keyGenerateStrategy:
        column: user_id
        keyGeneratorName: snowflake
      #auditStrategy:
        #auditorNames:
          #- sharding_key_required_auditor
        #allowHintDisable: true
  autoTables:
    t_order_shipping:
      actualDataSources: ds_rw_${0..1}
      shardingStrategy:
        standard:
          shardingColumn: id
          shardingAlgorithmName: t_order_shipping_mod
      keyGenerateStrategy:
        column: id
        keyGeneratorName: snowflake
  bindingTables:
    - t_order,t_order_item
  #broadcastTables:

  defaultDatabaseStrategy:
    standard:
      shardingColumn: user_id
      shardingAlgorithmName: database_inline
  defaultTableStrategy:
    none:
  #defaultAuditStrategy:
   # auditorNames:
     # - sharding_key_required_auditor
    #allowHintDisable: true
  shardingAlgorithms:
    database_inline:
      type: INLINE
      props:
        algorithm-expression: ds_rw_${user_id % 2}
    t_order_inline:
      type: INLINE
      props:
        algorithm-expression: t_order_${order_id % 2}
    t_order_item_inline:
      type: INLINE
      props:
        algorithm-expression: t_order_item_${order_id % 2}
    t_order_setting_complex_inline:
      type: COMPLEX_INLINE
      props:
        sharding-columns: user_id,id
        algorithm-expression: t_order_setting_${(user_id / 2 + id / 2) % 2}
    t_order_shipping_mod:
      type: MOD
      props:
        sharding-count: 4
  keyGenerators:
    snowflake:
      type: SNOWFLAKE
  auditors:
    sharding_key_required_auditor:
      type: DML_SHARDING_CONDITIONS

 - !READWRITE_SPLITTING
  dataSources:
    ds_rw_0:
      staticStrategy:
        writeDataSourceName: ds_0
        readDataSourceNames:
          - ds_read_0_0
      loadBalancerName: random
    ds_rw_1:
      staticStrategy:
        writeDataSourceName: ds_1
        readDataSourceNames:
          - ds_read_1_0
      loadBalancerName: random  
  loadBalancers:
    random:
      type: RANDOM
  • 读
select * from t_order_shipping\G;

shardingspher-proxy日志：

[INFO ] 2023-07-02 11:36:44.740 [Connection-1-ThreadExecutor] ShardingSphere-SQL - Logic SQL: select * from t_order_shipping
[INFO ] 2023-07-02 11:36:44.740 [Connection-1-ThreadExecutor] ShardingSphere-SQL - Actual SQL: ds_read_0_0 ::: select * from t_order_shipping_0 UNION ALL select * from t_order_shipping_2
[INFO ] 2023-07-02 11:36:44.740 [Connection-1-ThreadExecutor] ShardingSphere-SQL - Actual SQL: ds_read_1_0 ::: select * from t_order_shipping_1 UNION ALL select * from t_order_shipping_3

可以看到是从两个从节点读取数据的。

  • 写
insert into t_order_shipping(id,order_id,from_addr,to_addr)values(882206737124294651,882206737124294656,'北京','南京');
#or
insert into t_order_shipping(order_id,from_addr,to_addr)values(882206737124294656,"北京","南京");

shardingspher-proxy日志：

[INFO ] 2023-07-02 11:53:18.101 [Connection-1-ThreadExecutor] ShardingSphere-SQL - Logic SQL: insert into t_order_shipping(id,order_id,from_addr,to_addr)values(882206737124294651,882206737124294656,“北京”,“南京”)
[INFO ] 2023-07-02 11:53:18.101 [Connection-1-ThreadExecutor] ShardingSphere-SQL - Actual SQL: ds_1 ::: insert into t_order_shipping_3(id,order_id,from_addr,to_addr)values(882206737124294651, 882206737124294656, ‘北京’, ‘南京’)

可以看到是从主节点ds-1写入数据的。

4、总结

官方文档-分片算法
从官方文档可以看到有许多分片算法，主要可以概括为哈希分片和范围分片。
从上一篇我们知道了二者的缺陷，为何没有引入一致性哈希算法？
或者像MongoDB那样先对分片键哈希再按其哈希值进行范围分片呢？

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/710182.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【学习周报】

【学习周报】

最近看过的几篇论文里，VALOR和InstructBLIP模型使用了cross-attention机制，以这两篇论文为基础着重学习cross-attention相关的代码和思路。 学习内容： cross-attention机制学习lstm与transformer 学习时间： 6.26 ~ 7.1 学习笔记…
阅读更多...
Linux--重定向：＞ ＞＞ ＜

Linux--重定向：＞ ＞＞ ＜

输出重定向&#xff1a;> a.如果目标文件不存在&#xff0c;则创建文件。反之 b.本来应该显示到显示器的内容&#xff0c;被写入到了文件中 示例&#xff1a; 追加重定向: >> 示例&#xff1a; 输入重定向&#xff1a;< 本来应该从键盘中读取的内容&#xff0c;变…
阅读更多...
分布式锁的实现方案（免费gpt4分享）

分布式锁的实现方案（免费gpt4分享）

1.1基于数据库 有两个方案&#xff1a;依赖数据库排他锁以及表主键的唯一。 依赖数据库排他锁&#xff1a; 在查询语句后面增加for update&#xff0c;数据库会在查询过程中给数据库表增加排他锁 (注意&#xff1a; InnoDB 引擎在加锁的时候&#xff0c;只有通过索引进行检索…
阅读更多...
SpringBoot扩展机制

SpringBoot扩展机制

启动生命周期 一.Spring boot初始化器扩展 package com.lx.conmon.extend.intializer;import org.springframework.context.ApplicationContextInitializer; import org.springframework.context.ConfigurableApplicationContext;/*** Spring boot初始化器扩展* author liu we…
阅读更多...
AIPRM for ChatGPT 提示词模板扩展工具实践

AIPRM for ChatGPT 提示词模板扩展工具实践

&#xff08;1&#xff09;基本介绍 AIPRM for ChatGPT是一个Chrome浏览器扩展程序&#xff0c;基于Chromium内核开发的浏览器都可以使用该扩展&#xff0c;比如微软的Edge浏览器等。 在AIPRM的帮助下&#xff0c;我们可以在ChatGPT中一键使用各种专门为网站SEO、SaaS、营销、…
阅读更多...
超详细，Python自动化测试 Allure报告参数化动态生成标题（实战）

超详细，Python自动化测试 Allure报告参数化动态生成标题（实战）

目录&#xff1a;导读 前言一、Python编程入门到精通二、接口自动化项目实战三、Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结&#xff08;尾部小惊喜&#xff09; 前言 默认 allure 报告…
阅读更多...
ubuntu安装openssh

ubuntu安装openssh

Ubuntu安装openssh之后&#xff0c;然后在客户端安装winscp,然后就可以很方便的传输文件了 sudo apt install openssh-server sudo service ssh status sudo service ssh start sudo service ssh restart
阅读更多...
自然语言处理从入门到应用——预训练模型总览：预训练模型存在的问题

自然语言处理从入门到应用——预训练模型总览：预训练模型存在的问题

分类目录&#xff1a;《自然语言处理从入门到应用》总目录 相关文章&#xff1a; 预训练模型总览&#xff1a;从宏观视角了解预训练模型 预训练模型总览&#xff1a;词嵌入的两大范式 预训练模型总览&#xff1a;两大任务类型 预训练模型总览&#xff1a;预训练模型的拓展 …
阅读更多...
DOM模型

DOM模型

文章目录 DOM模型获取DOM对象常用方法通过元素ID获取DOM对象通过元素标签名获取DOM对象通过元素的class属性获取DOM对象通过元素的name属性获取DOM对象通过CSS选择器获取所有DOM对象通过CSS选择器获取第一个DOM对象 获取DOM对象时机操作DOM属性直接通过属性名修改属性使用getAt…
阅读更多...
Qt中使用QXmlStreamReader读取xml文件中遇到的问题

Qt中使用QXmlStreamReader读取xml文件中遇到的问题

Qt系列文章目录 文章目录 Qt系列文章目录前言一、为什么xml.readElementText()是空的问题原因QXmlStreamReader类简介 前言 <?xml version"1.0" encoding"UTF-8"?> <note><yolov5>E:/work/python_jdk/yolov5/dist/detect/detect.exe&…
阅读更多...
终于有人把 Java 面试高分 Guide 总结得如此系统，堪称傻瓜式笔记总结

终于有人把 Java 面试高分 Guide 总结得如此系统，堪称傻瓜式笔记总结

纵观今年的技术招聘市场&#xff0c; Java 依旧是当仁不让的霸主 &#xff01;即便遭受 Go 等新兴语言不断冲击&#xff0c;依旧岿然不动。究其原因&#xff1a; Java 有着极其成熟的生态&#xff0c;这个不用我多说&#xff1b; Java 在 运维、可观测性、可监 控性方面都有着…
阅读更多...
OpenCV(图像颜色空间变换)

OpenCV(图像颜色空间变换)

目录 1、分类 1.1 RGB颜色模型 1.2 HSV颜色模型 1.3 GRAY颜色模型 2、图像数据类型间的相互转换 3 、颜色转换函数 1、分类 RGB\HSV\GRAY颜色模型。 1.1 RGB颜色模型 1.2 HSV颜色模型 1.3 GRAY颜色模型 2、图像数据类型间的相互转换 3 、颜色转换函数 第四个参数使用例子…
阅读更多...
60、使用MNN+DBNET进行二维码检测

60、使用MNN+DBNET进行二维码检测

基本思想&#xff1a;顺手转了个模型&#xff0c;可以方便进行条形码和对应的数字检测&#xff0c;以方便下一步进行条形码识别和ocr进行数字检测(这里只检测暂不识别&#xff0c;识别暂定下一篇) cmakelists.txt cmake_minimum_required(VERSION 3.16) project(untitled22) s…
阅读更多...
两台电脑之间传输文件——就近共享

两台电脑之间传输文件——就近共享

文章目录 背景步骤补充&#xff1a;跨设备共享 背景 两台电脑之间共享文件有很多种方式&#xff0c;这里介绍一种最简洁的——Windows自带的就近共享。它适合偶尔传输一些简单文件。比如把笔记本上的电子书传输到surface上阅读。 注意: 如果共享的电脑正在运行最新版本的Wind…
阅读更多...
js对象数组去重：

js对象数组去重：

目录 双层for循环&#xff1a; indexof()&#xff1a; map方法(推荐)&#xff1a; 双层for循环&#xff1a; ​ //双层for循环let arrObj [{name: "小红",id: 1},{name: "小橙",id: 1},{name: "小黄",id: 4},{name: "小绿",id: 3}…
阅读更多...
软件设计模式与体系结构-设计模式-结构型软件设计模式-组合模式

软件设计模式与体系结构-设计模式-结构型软件设计模式-组合模式

目录 结构型软件设计模式概述 一、组合模式动机组合模式结构实例一&#xff1a;五子棋游戏实例二&#xff1a;空军指挥系统关于组合模式的讨论1. 安全形式的组合模式2. 透明形式的组合模式优缺点适用环境 课程作业 结构型软件设计模式 概述 动机 结构型软件设计模式的主要目的…
阅读更多...
C++语言之 do-while 语句

C++语言之 do-while 语句

有时候&#xff0c;使用 while 语句会想要先执行一遍循环体&#xff0c;这就可以使用 do-while 语句。下面会介绍 do-whie 语句。 目录 1.格式 1.1 格式1 1.2 格式2 2.执行过程 3.例题 1.格式 如果主体中只有单个语句的话&#xff0c;花括号可以省略。&#xff08;如格式…
阅读更多...
Http host 标头攻击

Http host 标头攻击

一、什么是http host 标头攻击 HTTP Host 标头攻击是一种网络安全攻击技术&#xff0c;利用了 HTTP 协议中的 Host 标头字段的漏洞。Host 标头字段用于指定客户端请求的目标主机名或域名。 攻击者可以通过构造恶意的 HTTP 请求&#xff0c;伪造或篡改 Host 标头字段的值&#x…
阅读更多...
【Python从入门到进阶】urllib的异常处理

【Python从入门到进阶】urllib的异常处理

接上篇《25、urllib获取快餐网站店铺数据》 上一篇我们讲解了如何使用urllib的post请求抓取某某快餐网站店铺数据。本篇我们来讲解urllib的异常处理机制。 一、异常处理的重要性 在编程过程中&#xff0c;无论是与网络交互还是执行其他操作&#xff0c;都存在各种意外和错误可…
阅读更多...
阿里云外网无法访问Dcoker容器

阿里云外网无法访问Dcoker容器

应该是docker和linux网段冲突 1、路由策略开启转发 cat >> /etc/sysctl.conf <<EOF net.ipv4.ip_forward 1 net.bridge.bridge-nf-call-ip6tables 1 net.bridge.bridge-nf-call-iptables 1 net.bridge.bridge-nf-call-arptables 1 EOF sysctl -p 2、查看配置…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023