打造专业开发者指南：针对ShardingProxy分库分表解决策略的深度剖析 – 详解部署、使用、服务治理与优化技巧

news2024/12/25 15:16:26

一、 ShardingProxy快速使用

        ShardingProxy的功能同样是分库分表，但是他是一个独立部署的服务端，提供 统一的数据库代理服务。注意，ShardingProxy目前只支持MySQL和PostgreSQL。并且，客户端连接ShardingProxy时，最好使用MySQL的JDBC客户 端。下面我们来部署一个ShardingProxy服务。

1、 ShardingProxy部署

        ShardingProxy在windows和Linux上提供了一套统一的部署发布包。我们可以 从ShardingSphere官网下载4.1.1版本的ShardingProxy发布包apache-shardingsphere-4.1.1-sharding-proxy-bin.tar.gz，解压到本地目录。配套资料中已经提供

  注意不要有中文路径

        首先，我们需要把MySQL的JDBC驱动包mysql-connector-java-8.0.20.jar手动 复制到ShardingProxy的lib目录下。ShardingProxy默认只附带了PostgreSQL的   JDBC驱动包，而不包含MySQL的JDBC驱动包。

        然后，我们需要到conf目录下，修改server.yaml，将配置文件中的 authentication和props两段配置的注释打开。

authentication:
  users:
    root:
    password: root
  sharding:
    password: sharding
    authorizedSchemas: sharding_db

props:
  max.connections.size.per.query: 1
  acceptor.size: 16  # The default value is available processors count * 2.
  executor.size: 16  # Infinite by default.
  proxy.frontend.flush.threshold: 128  # The default value is 128. # LOCAL: Proxy will run with LOCAL transaction.
  # XA: Proxy will run with XA transaction.
  # BASE: Proxy will run with B.A.S.E transaction.
  proxy.transaction.type: LOCAL
  proxy.opentracing.enabled: false
  proxy.hint.enabled: false
  query.with.cipher.column: true
  sql.show: false
  allow.range.query.with.inline.sharding: false

然后，我们修改conf目录下的config-sharding.yaml，这个配置文件就是shardingProxy关于分库分表部分的配置。整个配置和之前我们使用ShardingJDBC 时的配置大致相同，我们在最下面按照自己的数据库环境增加以下配置：

schemaName: sharding_db
dataSources:
  m1:
    url: jdbc:mysql://localhost:3306/userdb?serverTimezone=GMT%2B8&useSSL=false
    username: root
    password: root
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50
shardingRule:
  tables:
    course:
      actualDataNodes: m1.course_$->{1..2}
      tableStrategy:
        inline:
          shardingColumn: cid
          algorithmExpression: course_$->{cid%2+1}
      keyGenerator:
        type: SNOWFLAKE
        column: cid

然后，还一个小问题要注意，我们进入ShardingProxy的Lib目录，里面会有些jar 包因为名字太长了，导致有些文件的后缀被截断了，我们要手动把他们的文件后缀给修改过来。

        然后，我们就可以启动ShardingProxy的服务了。启动脚本在bin目录下。其中， windows 平台对应的脚本是start.bat,Linux平台对应的脚本是start.sh和stop.sh

        启动时，我们可以直接运行start.bat 脚本，这时候， ShardingProxy 默认占用的  是3307端口。为了不跟我们之前搭建的多个MySQL 服务端口冲突，我们定制下启动 端口，改为3316端口。

  start.bat 3316

启动完成后，可以看到几行关键的日志标识服务启动成功了。

[INFO ] 10:46:53.930 [main] c.a.d.xa.XATransactionalResource - resource-1- m1: refreshed XAResource
[INFO ] 10:46:54.580 [main] ShardingSphere-metadata - Loading 1 logic tables ' meta data.
[INFO ] 10:46:54.717 [main] ShardingSphere-metadata - Loading 8 tables ' meta data.
[INFO ] 10:46:56.953 [nioEventLoopGroup-2-1]
i.n.handler.logging.LoggingHandler - [id: 0xc90e0eef] REGISTERED [INFO ] 10:46:56.958 [nioEventLoopGroup-2-1]
i.n.handler.logging.LoggingHandler - [id: 0xc90e0eef] BIND:
0.0.0.0/0.0.0.0:3316
[INFO ] 10:46:56.960 [nioEventLoopGroup-2-1]
i.n.handler.logging.LoggingHandler - [id: 0xc90e0eef,
L:/0:0:0:0:0:0:0:0:3316] ACTIVE

2、 ShardingProxy使用

这样，我们就可以像连接一个标准MySQL服务一样连接ShardingProxy了

D:\dev-hook\mysql-8.0.20-winx64\bin>mysql.exe -P3316 -uroot -p Enter password: ****
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 1
Server version: 8.0.20-Sharding-Proxy 4.1.0

Copyright (c) 2000, 2020, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its affiliates. Other names may be trademarks of their respective
owners.

Type 'help; ' or '\h ' for help. Type '\c ' to clear the current input statement.

mysql> show databases;
+-------------+
| Database    |
+-------------+
| sharding_db |
+-------------+
1 row in set (0.03 sec)

mysql> use sharding_db
Database changed
mysql> show tables;
+--------------------+
| Tables_in_coursedb |
+--------------------+
| course             |
| t_dict             |
+--------------------+
2 rows in set (0.16 sec)

mysql> select * from course;
+--------------------+-------+---------+---------+
| cid                  | cname | user_id | cstatus |
+--------------------+-------+---------+---------+

| 545730330389118976 | java | 545730330804355072 | java | 545730330842103808 | java | 545730330879852544 | java | 545730330917601280 | java	1001 | 1
1001 | 1
1001 | 1
1001 | 1
1001 | 1
+--------------------+-------+---------+---------+
5 rows in set (0.08 sec)

3、 ShardingProxy的服务治理

        从ShardingProxy的server.yaml中看到，ShardingProxy还支持非常多的服务治理功能。在server.yaml配置文件中的orchestration部分属性就演示了如何将 ShardingProxy注册到Zookeeper当中。

orchestration:
  orchestration_ds:
    orchestrationType: registry_center,config_center,distributed_lock_manager
    instanceType: zookeeper
    serverLists: localhost:2181
    namespace: orchestration
    props:
      overwrite: false
      retryIntervalMilliseconds: 500
      timeToLiveSeconds: 60
      maxRetries: 3
      operationTimeoutMilliseconds: 500

ShardingSphere在服务治理这一块主要有两个部分：

        一是数据接入以及弹性伸缩。简单理解就是把MySQL或者其他数据源的数据快速 迁移进ShardingSphere的分片库中。并且能够快速的对已有的ShardingShere分片 库进行扩容以及减配。这一块由ShardingSphere-scaling产品来提供支持。只是这  个功能在目前的4.1.1版本中，还处于Alpha测试阶段。

        另一方面，ShardingSphere支持将复杂的分库分表配置上传到统一的注册中心   中集中管理。目前支持的注册中心有Zookeeper和Etcd。而ShardingSphere也提   供了SPI扩展接口，可以快速接入Nacos、Apollo等注册中心。在ShardingProxy的 server.yaml中我们已经看到了这一部分的配置示例。

        另外，ShardingSphere针对他的这些生态功能，提供了一个ShardingSphere-    UI产品来提供页面支持。ShardingSphere-UI是针对整个ShardingSphere的一个简单有用的Web管理控制台。它用于帮助用户更简单的使用ShardingSphere的相关 功能。目前提供注册中心管理、动态配置管理、数据库编排管理等功能。

4、 Shardingproxy的其他功能

影子库

        这部分功能主要是用于进行压测的。通过给生产环境上的关键数据库表配置一个 影子库，就可以将写往生产环境的数据全部转为写入影子库中，而影子库通常会配 置成跟生产环境在同一个库，这样就可以在生产环境上直接进行压力测试，而不会影响生产环境的数据。

        在conf/config-shadow.yaml中有配置影子库的示例。其中最核心的就是下面的 shadowRule这一部分。

#shadowRule:
#  column: shadow
#  shadowMappings:
# 绑定shadow_ds为ds的影子库
#    ds: shadow_ds

数据加密

        在conf/config-encrypt.yaml中还演示了ShardingProxy的另一个功能，数据加  密。默认集成了AES对称加密和MD5加密。还可以通过SPI机制自行扩展更多的加密算法。

5、 ShardingProxy的SPI扩展

        上一部分提到了ShardingSphere保留了大量的SPI扩展接口，对主流程封闭、对 SPI开放。这在ShardingJDBC中还体现不出太大的作用，但是在ShardingProxy中 就能极大程度提高服务的灵活性了。

        在ShardingProxy中，只需要将自定义的扩展功能按照SPI机制的要求打成jar 包，就可以直接把jar包放入lib目录，然后就配置使用了。

        例如如果想要扩展一个新的主键生成策略，只需要自己开发一个主键生成类

package com.roy.shardingDemo.spiextention;

import org.apache.shardingsphere.spi.keygen.ShardingKeyGenerator;

import java.time.LocalDateTime;
import java.time.format.DateTimeFormatter;
import java.util.Properties;
import java.util.concurrent.atomic.AtomicLong;

public final class MyKeyGenerator implements ShardingKeyGenerator {

    private AtomicLong atom = new AtomicLong(0);
    private Properties properties = new Properties();

    public synchronized Comparable<?> generateKey() {
        // 读取了一个自定义属性
        String prefix = properties.getProperty("mykey-offset", "100");
        LocalDateTime ldt = LocalDateTime.now();
        String timestampS = DateTimeFormatter.ofPattern("HHmmssSSS").format(ldt);
        return Long.parseLong("" + prefix + timestampS + atom.incrementAndGet());
    }

    // 扩展算法的类型
    public String getType() {
        return "MYKEY";
    }

    public Properties getProperties() {
        return this.properties;
    }

    public void setProperties(Properties properties) {
        this.properties = properties;
    }
}

        然后增加一个META-INF\ services\org.apache.shardingsphere.spi.keygen.ShardingKeyGenerator文件 ，并在文件中写明自己的实现类。

        com.roy.shardingDemo.spiextention.MykeyGenerator将扩展类和这个SPI 服务文件一起打成jar包，就可以直接放到ShardingProxy 的lib 目录下。

mysql> select * from course;
+--------------------+-------+---------+---------+
| cid                  | cname | user_id | cstatus |
+--------------------+-------+---------+---------+

|                222 | java2
| 545730330389118976 | java | 545730330804355072 | java | 545730330842103808 | java | 545730330879852544 | java | 545730330917601280 | java	1002 | 1
1001 | 1
1001 | 1
1001 | 1
1001 | 1
1001 | 1
+--------------------+-------+---------+---------+
6 rows in set (0.01 sec)

mysql> insert into course(cname,user_id,cstatus) values ( 'java2 ',1002, '1 '); Query OK, 1 row affected (0.11 sec)

mysql> insert into course(cname,user_id,cstatus) values ( 'java2 ',1003, '1 '); Query OK, 1 row affected (0.01 sec)

mysql> select * from course;
+--------------------+-------+---------+---------+
| cid                  | cname | user_id | cstatus |
+--------------------+-------+---------+---------+

|                222 | java2
|      1001509178012 | java2
| 545730330389118976 | java | 545730330804355072 | java | 545730330842103808 | java | 545730330879852544 | java | 545730330917601280 | java
|      1001509119631 | java2	1002 | 1
1003 | 1
1001 | 1
1001 | 1
1001 | 1
1001 | 1
1001 | 1
1002 | 1
+--------------------+-------+---------+---------+
8 rows in set (0.01 sec)

        从结果可以看到，插入的两条记录，自动生成的CID分别为1001509178012、1001509119631。这样我们就很快的完成了一个自定义的主键生成策略。

二、 ShardingSphere总结

        我们现在已经学完了ShardingSphere除了Sharding-SideCar以外的所有产品了，整个sharding + proxy的所有这些功能，本质上其实都只解决了一个问题，就 是单机数据库容量的问题。在软件层面对硬件资源进行管理，从而便于对数据库的横向扩展。

        但是，我们也要意识到他带来的很多问题。

        例如对业务的侵入大。业务系统写的SQL将不再是纯粹的能在服务器上运行的 SQL了，对大量跨维度的JOIN、聚合、子查询、排序等功能在业务上很难进行验证。这必然会弱化数据库的功能。

        并且，使用ShardingSphere管理后，数据库之间变成了结合非常紧密的依赖关 系，对整个集群的扩容也会带来相当大的难度。

        另外，ShardingSphere这种方式实际上将原本由业务管理SQL的工作方式，转化 成了由业务管理逻辑SQL，而运维管理实际SQL的混合工作模式，再加上一大堆服务的引入，整个服务运维的维护工作量以及工作难度也上升了非常多。

        当然，相信随着ShardingSphere后续版本的不断升级优化，这些问题都会得到 不同程度的改善。

三、 与其他相关产品的对比

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1353377.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

java每日一题——双色球系统（答案及编程思路）

java每日一题——双色球系统（答案及编程思路）

前言&#xff1a; 打好基础&#xff0c;daydayup! 题目&#xff1a;要求如下&#xff08;同时&#xff1a;红球每个号码不可以相同&#xff09; 编程思路&#xff1a;1&#xff0c;创建一个可以录入数字的数组&#xff1b;2&#xff0c;生成一个可以随机生成数字的数组&#xf…
阅读更多...
MT8766安卓核心板规格参数_MTK8766核心板模块方案定制

MT8766安卓核心板规格参数_MTK8766核心板模块方案定制

MT8766安卓核心板&#xff1a;高性能、稳定可靠、集成度高的一体化解决方案 MT8766安卓核心板采用联发科MTK8766四核4G模块方案&#xff0c;是一款高度集成的安卓一体板。四核芯片架构&#xff0c;主频可达到2.0GHz&#xff0c;支持国内4G全网通。12nm制程工艺&#xff0c;支持…
阅读更多...
虾皮跨境电商选品有哪些规则

虾皮跨境电商选品有哪些规则

如何在虾皮&#xff08;Shopee&#xff09;平台上进行跨境电商选品在如今全球化的商业环境中&#xff0c;跨境电商已成为许多卖家拓展业务的重要途径。虾皮&#xff08;Shopee&#xff09;作为一家知名的跨境电商平台&#xff0c;为卖家提供了丰富的销售机会。然而&#xff0c;…
阅读更多...
Linux 485驱动通信异常

Linux 485驱动通信异常

背景 前段时间接到一个项目&#xff0c;要求用主控用485和MCU通信。将代码调试好之后&#xff0c;验证没问题就发给测试了。测试测的也没问题。 但是&#xff0c;到设备量产时&#xff0c;发现有几台设备功能异常。将设备拿回来排查&#xff0c;发现是485通信有问题&#xff…
阅读更多...
大语言模型LLM微调技术：P-Tuning

大语言模型LLM微调技术：P-Tuning

1 引言 Bert时代&#xff0c;我们常做预训练模型微调&#xff08;Fine-tuning&#xff09;&#xff0c;即根据不同下游任务&#xff0c;引入各种辅助任务loss和垂直领域数据&#xff0c;将其添加到预训练模型中&#xff0c;以便让模型更加适配下游任务的方式。每个下游任务都存…
阅读更多...
生活中危险的气体：一氧化碳与二氧化碳中毒的症状及安全预防措施

生活中危险的气体：一氧化碳与二氧化碳中毒的症状及安全预防措施

一氧化碳和血红蛋白亲和力超过氧气&#xff0c;会占用血红蛋白&#xff0c;导致缺氧。 二氧化碳会和血浆结合&#xff0c;导致血液pH值不正常&#xff0c;抑制呼吸&#xff0c;导致窒息。 通俗点说&#xff1a;一氧化碳是中毒&#xff0c;二氧化碳则是窒息。 一氧化碳中毒 …
阅读更多...
【完整代码】网上书店信息管理系统--基于Mysql数据库与java

【完整代码】网上书店信息管理系统--基于Mysql数据库与java

网上书店信息管理系统 一、需求分析&#xff08;一&#xff09;设计系统的意义以及用途&#xff08;二&#xff09;实现的功能1.用户模块&#xff1a;1、全部图书浏览2、图书搜索3、购物车管理和订单查看4、修改密码 2.书店管理员模块1、图书类别管理2、图书管理3、全部订单查看…
阅读更多...
互联网加竞赛 Yolov安全帽佩戴检测 危险区域进入检测 - 深度学习 opencv

互联网加竞赛 Yolov安全帽佩戴检测 危险区域进入检测 - 深度学习 opencv

1 前言 &#x1f525; 优质竞赛项目系列&#xff0c;今天要分享的是 &#x1f6a9; Yolov安全帽佩戴检测 危险区域进入检测 &#x1f947;学长这里给一个题目综合评分(每项满分5分) 难度系数&#xff1a;3分工作量&#xff1a;3分创新点&#xff1a;4分 该项目较为新颖&am…
阅读更多...
ISCTF 2023 miscweb wp

ISCTF 2023 miscweb wp

web 圣杯战争!!! 题目: PHP <?php highlight_file(__FILE__); error_reporting(0); class artifact{ public $excalibuer; public $arrow; public function __toString(){ echo "为Saber选择了对的武器!<br>"; return $this…
阅读更多...
阿里云性能测评ESSD Entry云盘、SSD云盘、ESSD和高效云盘

阿里云性能测评ESSD Entry云盘、SSD云盘、ESSD和高效云盘

阿里云服务器系统盘或数据盘支持多种云盘类型&#xff0c;如高效云盘、ESSD Entry云盘、SSD云盘、ESSD云盘、ESSD PL-X云盘及ESSD AutoPL云盘等&#xff0c;阿里云百科aliyunbaike.com详细介绍不同云盘说明及单盘容量、最大/最小IOPS、最大/最小吞吐量、单路随机写平均时延等性…
阅读更多...
Python中的垃圾回收机制是什么

Python中的垃圾回收机制是什么

一、写在前面&#xff1a; 我们都知道Python一种面向对象的脚本语言&#xff0c;对象是Python中非常重要的一个概念。在Python中数字是对象&#xff0c;字符串是对象&#xff0c;任何事物都是对象&#xff0c;而它们的核心就是一个结构体--PyObject。 typedef struct_object{i…
阅读更多...
data.TensorDataset解析

data.TensorDataset解析

data.TensorDataset 是 PyTorch 中的一个类&#xff0c;用于创建一个包含多个张量的数据集。这个类的主要作用是将输入的张量组合成一个数据集&#xff0c;使得在训练过程中可以方便地进行数据加载和迭代。 具体来说&#xff0c;TensorDataset 接受一系列的张量作为输入参数&a…
阅读更多...
正负样本分配策略simOTA

正负样本分配策略simOTA

simOTA是YOLOX中提出的 正负样本分配策略&#xff08;OTA, SimOTA&#xff0c;TAS&#xff09; OTA源于2021年cvpr的论文&#xff0c;使训练和验证的标签有着更好的对应关系。 yolov5没有用到&#xff0c;只有一种loss&#xff1a; from utils.loss import ComputeLoss comput…
阅读更多...
图像识别快速实现

图像识别快速实现

文本的跑通了&#xff0c;接下来玩玩图片场景 1. 引入模型 再另起类test_qdrant_img.py&#xff0c;转化图片用到的模型和文本不太一样&#xff0c;我们这里使用ResNet-50模型 import unittest from qdrant_client.http.models import Distance, VectorParams from qdrant_cl…
阅读更多...
im6ull学习总结（三-2）文字显示中文字符

im6ull学习总结（三-2）文字显示中文字符

承接上篇文章 中文字符的点阵显示 使用点阵字库时&#xff0c;中文字符的显示原理跟 ASCII 字符是一样的。要注意的地方在于中文的编码&#xff1a;在 C 源文件中它的编码方式是 GB2312 还是 UTF-8&#xff1f;编译出的可执行程序&#xff0c;其中的汉字编码方式是 GB2312 还…
阅读更多...
Java 第23章 反射 本章作业

Java 第23章 反射 本章作业

文章目录 反射修改私有成员变量反射和File 反射修改私有成员变量 public class Homework01 {public static void main(String[] args) throws IllegalAccessException, InstantiationException, NoSuchFieldException, NoSuchMethodException, InvocationTargetException {/***…
阅读更多...
c盘扩容时，d盘无法删除卷问题

c盘扩容时，d盘无法删除卷问题

C盘扩容时&#xff0c;磁盘管理中D盘右键无法删除卷的原因 首先&#xff0c;D盘下文件夹为空&#xff0c;但是显示可用空间不是100%&#xff0c;经过排查&#xff0c;发现是虚拟内存设置在了D盘导致无法删除卷&#xff0c;这里只需要将虚拟内存放到其他盘&#xff0c;如E盘即可…
阅读更多...
bootstrap5实现的在线商城网站Parlo

bootstrap5实现的在线商城网站Parlo

一、需求分析 在线商城网站是指基于互联网技术搭建的电子商务平台&#xff0c;通过网站提供商品和服务的展示、销售和交易功能。它的主要作用包括以下几个方面&#xff1a; 商品展示和销售&#xff1a;在线商城网站是商家展示商品的平台&#xff0c;可以通过图片、文字、视频等…
阅读更多...
阿里巴巴开源异构数据源离线/全量/增量同步工具 - DataX

阿里巴巴开源异构数据源离线/全量/增量同步工具 - DataX

&#x1f604; 19年之后由于某些原因断更了三年&#xff0c;23年重新扬帆起航&#xff0c;推出更多优质博文&#xff0c;希望大家多多支持&#xff5e; &#x1f337; 古之立大事者&#xff0c;不惟有超世之才&#xff0c;亦必有坚忍不拔之志 &#x1f390; 个人CSND主页——Mi…
阅读更多...
web component - 使用HTML Templates和Shadow DOM构建现代UI组件

web component - 使用HTML Templates和Shadow DOM构建现代UI组件

Web Component是一种用于构建可重用的UI组件的技术。它使用标准化的浏览器API&#xff0c;包括Custom Elements、Shadow DOM和HTML Templates来实现组件化开发方式。这些API都是现代浏览器原生支持的&#xff0c;因此不需要引入第三方库或框架即可使用。 在这篇博客中&#xf…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023