13. ShardingSphere-Proxy 数据库代理

news2024/10/6 14:37:32

Spring Cloud 微服务系列文章，点击上方合集↑

1. 简介

ShardingSphere-Proxy是ShardingSphere分布式数据库中间件的一部分，它提供了数据库代理功能。通过引入ShardingSphere-Proxy，可以在无需改动应用程序代码的情况下，实现分库分表的数据库分片、读写分离、逻辑表达式分片等功能。ShardingSphere-Proxy独立运行于应用程序和数据库之间，充当数据库的代理，自动将请求路由至相应的数据库节点。

官网地址：https://shardingsphere.apache.org

2. 下载代理数据库

官网下载(5.4.0版本)：https://shardingsphere.apache.org/document/current/cn/downloads/

官网下载很慢，网盘下载(推荐)：「apache-shardingsphere-5.4.0-shardingsphere-proxy-bin.tar.gz」来自UC网盘分享
https://drive.uc.cn/s/cc1882af6a9a4

3. 配置MySQL驱动

下载 mysql-connector-java-8.0.11.jar，并将其放入 ext-lib 或 lib 目录下。

mysql-connector-java-8.0.11.jar包下载地址：来自UC网盘分享
https://drive.uc.cn/s/f9b1c5d7c0f64

4. 配置 server.yaml

conf目录下server.yaml配置文件，主要配置代理数据库的用户名、密码、权限。

  • 用户名 root
  • 密码 123456
  • 权限 ALL_PERMITTED
authority:
  users:
    - user: root
      password: 123456
  privilege:
    type: ALL_PERMITTED

props:
  max-connections-size-per-query: 1
  kernel-executor-size: 16  # Infinite by default.
  proxy-frontend-flush-threshold: 128  # The default value is 128.
  sql-show: false
  check-table-metadata-enabled: false

5. 配置 config-sharding.yaml

conf目录下sconfig-sharding.yaml配置文件，主要配置具体的分库分表规则：

  • 代理数据库名称 sharding_db。
  • 逻辑数据源 ds_0 指向 jdbc:mysql://127.0.0.1:3306/sharding_0。
  • 逻辑数据源 ds_1 指向 jdbc:mysql://127.0.0.1:3306/sharding_1。
  • company表的分片规则是id_inline，根据id取模。
  • product表没有配置分片规则，用默认分配规则，根据company_id取模。
  • permission表是广播表，插入(更新)数据的时候每张表都会插入(更新)，读取的时候随机一张表读取。
  • 取模算法ds_$->{id % 2} 偶数在ds_0，奇数在ds_1。
databaseName: sharding_db

dataSources:
  ds_0:
    url: jdbc:mysql://127.0.0.1:3306/sharding_0?serverTimezone=UTC&useSSL=false
    username: root
    password: "123456"
  ds_1:
    url: jdbc:mysql://127.0.0.1:3306/sharding_1?serverTimezone=UTC&useSSL=false
    username: root
    password: "123456"

rules:
  - !SHARDING
    tables:
      company:
        actualDataNodes: ds_$->{0..1}.company
        databaseStrategy:
          standard:
            shardingColumn: id
            shardingAlgorithmName: id_inline
      product:
        actualDataNodes: ds_$->{0..1}.product
    defaultDatabaseStrategy:
      standard:
        shardingColumn: company_id
        shardingAlgorithmName: database_inline
    shardingAlgorithms:
      database_inline:
        type: INLINE
        props:
          algorithm-expression: ds_$->{company_id % 2}
      id_inline:
        type: INLINE
        props:
          algorithm-expression: ds_$->{id % 2}

  - !BROADCAST
    tables: # 广播表规则列表
      - permission

注意上面是url,而不是jdbcUrl，官方这么说的：

否则启动代理数据库会出现如下异常：

Unable to find property 'jdbcUrl' on class: org.apache.shardingsphere.proxy.backend.config.yaml.YamlProxyDataSourceConfiguration

6. 配置 config-readwrite-splitting.yaml

conf目录下config-readwrite-splitting.yaml配置文件，主要配置数据库的读写分离。

往write_ds数据库写数据的时候会自动同步到read_ds_0、read_ds_1两个库中。读取数据的时候会随机从read_ds_0、read_ds_1选择一个数据源进行读取。

databaseName: readwrite-splitting_db

dataSources:
  write_ds:
    url: jdbc:mysql://127.0.0.1:3306/demo_write_ds?serverTimezone=UTC&useSSL=false
    username: root
    password: 123456
  read_ds_0:
    url: jdbc:mysql://127.0.0.1:3306/demo_read_ds_0?serverTimezone=UTC&useSSL=false
    username: root
    password: 123456
  read_ds_1:
    url: jdbc:mysql://127.0.0.1:3306/demo_read_ds_1?serverTimezone=UTC&useSSL=false
    username: root
    password: 123456

rules:
- !READWRITE_SPLITTING
  dataSources:
    readwrite_ds:
      writeDataSourceName: write_ds
      readDataSourceNames:
        - read_ds_0
        - read_ds_1
  • 写数据库：write_ds
  • 读数据库：read_ds_0、read_ds_1

7. 执行sql脚本

创建sharding_0和sharding_1两个数据库。两个数据库完全一样，包含如下数据表：

  1. company 企业表，根据id分库
  2. product 商品表，根据企业idcompany_id分库
  3. permission 权限表，广播表不分库

CREATE DATABASE sharding_0 CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;

CREATE DATABASE sharding_1 CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;

CREATE TABLE `company`  (
  `id` bigint(20) NOT NULL COMMENT '主键id',
  `name` varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '名称',
  `create_time` datetime(0) NULL DEFAULT NULL COMMENT '创建时间',
  `update_time` datetime(0) NULL DEFAULT NULL COMMENT '更新时间',
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;

CREATE TABLE `permission`  (
  `id` bigint(20) NOT NULL COMMENT '主键id',
  `name` varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '名称',
  `create_time` datetime(0) NULL DEFAULT NULL COMMENT '创建时间',
  `update_time` datetime(0) NULL DEFAULT NULL COMMENT '更新时间',
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;

CREATE TABLE `product`  (
  `id` bigint(20) NOT NULL COMMENT '主键id',
  `company_id` bigint(20) NULL DEFAULT NULL COMMENT '公司id',
  `name` varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT '名称',
  `create_time` datetime(0) NULL DEFAULT NULL COMMENT '创建时间',
  `update_time` datetime(0) NULL DEFAULT NULL COMMENT '更新时间',
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;

8. 启动代理数据库

在bin目录下：

# mac/linux
sh start.sh 3307

# windows
start.bat 3307
  • 指定数据库端口 3307

启动日志位置：logs/skywalking-oap-server.log

9. 连接代理数据库

代理数据库对于开发人员来说与普通数据库的操作无异，既可通过命令行，也可通过可视化工具来进行连接和操作。

通过命令连接代理数据库

mysql -h127.0.0.1 -P3307 -uroot -p123456

通过可视化工具连接代理数据库

10. 分库分表结果

1）company

在代理数据库company表上添加企业数据记录。

偶数id的企业在sharding_0数据库，奇数id企业在sharding_1数据库。

2）product

在代理数据库product表上添加商品数据记录。

company_id为偶数的商品在sharding_0数据库，company_id为奇数的商品sharding_1数据库。保证了一个企业的商品全部在一个库里面。

3）permission

在代理数据库permission表上添加权限数据记录。

被代理的两个数据库的数据都一样。

11. 总结

ShardingSphere-Proxy是在数据库和应用程序之间起到了一个桥梁的作用，对于应用程序来说，它不需要感知ShardingSphere-Proxy的存在，依然可以使用原来的方式操作数据库。也就是说，ShardingSphere-Proxy对于应用程序来说是透明的，不需要额外的代码实现或者调整。

Spring Cloud 微服务系列 完整的代码在仓库的sourcecode/spring-cloud-demo目录下。

gitee(推荐)：https://gitee.com/cunzaizhe/xiaohuge-blog

github：https://github.com/tigerleeli/xiaohuge-blog

关注微信公众号：“小虎哥的技术博客”，让我们一起成为更优秀的程序员❤️！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1044988.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

什么是商业智能（BI），就看这篇文章足够了

什么是商业智能（BI），就看这篇文章足够了

01、什么是商业智能BI？ 商业智能BI - 派可数据商业智能BI可视化分析平台 首先要了解什么是商业智能BI（ Business Intelligence ）？百度商业智能BI有很多很多官方的定义，各种解释，实际上从这么多年的经验出发…
阅读更多...
AI 大模型

AI 大模型

随着人工智能技术的迅猛发展，AI 大模型逐渐成为推动人工智能领域提升的关键因素，大模型已成为了引领技术浪潮研究和应用方向。大模型即大规模预训练模型，通常是指那些在大规模数据上进行了预训练的具有庞大规模和复杂结构的人工智能模型&…
阅读更多...
【2023款奔驰改款E260 L运动型：豪华与性能的完美结合】

【2023款奔驰改款E260 L运动型：豪华与性能的完美结合】

在汽车市场中，奔驰一直以其卓越的品质和卓越的性能赢得了消费者的喜爱。而2023款奔驰改款E260 L运动型，更是将豪华与性能完美结合，让人无法抗拒。首先，让我们来看一下这款车的外观设计。新款E260 L运动型的前脸设计更加犀利&#…
阅读更多...
css 语法笔记

css 语法笔记

.abc {margin-left:20px; } .xyz {margin-left:20px; } 等同于 .abc, .xyz {margin-left: 20px; } 参考 CSS - 选择器_css最后一个元素选择器_伏城之外的博客-CSDN博客 CSS Selectors Reference
阅读更多...
ElasticSearch - 基于 DSL 、JavaRestClient 实现数据聚合

ElasticSearch - 基于 DSL 、JavaRestClient 实现数据聚合

目录 一、数据聚合 1.1、基本概念 1.1.1、聚合分类 1.1.2、特点 1.2、DSL 实现 Bucket 聚合 1.2.1、Bucket 聚合基础语法 1.2.2、Bucket 聚合结果排序 1.2.3、Bucket 聚合限定范围 1.3、DSL 实现 Metrics 聚合 1.4、基于 JavaRestClient 实现聚合 1.4.1、组装请求 1…
阅读更多...
基于知识蒸馏的夜间低照度图像增强及目标检测

基于知识蒸馏的夜间低照度图像增强及目标检测

源自：应用光学 作者：苗德邻, 刘磊, 莫涌超, 胡朝龙, 张益军, 钱芸生. “人工智能技术与咨询” 发布 摘 要 为了实现夜间低照度图像的增强，提高目标检测模型在夜间低照度条件下的检测精度并减小模型的计算成本，提出了一种基…
阅读更多...
NLP 项目：维基百科文章爬虫和分类 - 语料库阅读器

NLP 项目：维基百科文章爬虫和分类 - 语料库阅读器

塞巴斯蒂安 一、说明 自然语言处理是机器学习和人工智能的一个迷人领域。这篇博客文章启动了一个具体的 NLP 项目，涉及使用维基百科文章进行聚类、分类和知识提取。灵感和一般方法源自《Applied Text Analysis with Python》一书。 在接下来的文章中，我将…
阅读更多...
c++堆排序-建堆-插入-删除-排序

c++堆排序-建堆-插入-删除-排序

本文以大根堆为例&#xff0c;用数组实现&#xff0c;它的nums[0]是数组最大值。 时间复杂度分析&#xff1a; 建堆o(n) 插入删除o(logn) 堆排序O(nlogn) 首先上代码 #include<bits/stdc.h>using namespace std; void down(vector<int>&nums, int idx, i…
阅读更多...
ThreeJS-3D教学四-光源

ThreeJS-3D教学四-光源

three模拟的真实3D环境&#xff0c;一个非常炫酷的功能便是对光源的操控&#xff0c;之前教学一中已经简单的描述了多种光源&#xff0c;这次咱们就详细的讲下一些最常见的光源&#xff1a; AmbientLight 该灯光在全局范围内平等地照亮场景中的所有对象。 该灯光不能用于投射阴…
阅读更多...
【CAN信号解析】使用python-can/cantools解析CAN数据

【CAN信号解析】使用python-can/cantools解析CAN数据

文章目录 1. 如何解析CAN消息1.1 简介1.2 python-can库使用2. python-can库介绍2.1 完整解析流程2.2 简单示例3. 总结与坑4. 代码示例1. 解析一个DBC2. 生成一个DBC3. 解析.asc数据 保存为.csv格式1. 如何解析CAN消息 关于CAN的基础知识，可阅读如下链接： CAN协议详解CAN消息…
阅读更多...
作为SiteGPT替代品，HelpLook的优势是什么？

作为SiteGPT替代品，HelpLook的优势是什么？

在当今快节奏的数字化世界中&#xff0c;企业不断寻求创新方式来简化运营并增强客户体验。由于聊天机器人能够自动化任务、提供快速响应并提供个性化互动&#xff0c;它们在业务运营中的使用变得非常重要。因此&#xff0c;企业越来越意识到像SiteGPT和HelpLook这样高效的聊天机…
阅读更多...
分享5个自动生成PPT的网站

分享5个自动生成PPT的网站

1、Mindshow 之前公众号里分享过这款做PPT的AI工具&#xff0c;这次再拿出来分享一次。 没别的原因&#xff0c;确实好用。 而且也是目前能够和ChatGPT结合使用最好的PPT工具之一。 直接在ChatGPT生成PPT内容&#xff0c;转成Markdown格式复制进来一键排版&#xff0c;一份P…
阅读更多...
MySQL ——多表连接查询

MySQL ——多表连接查询

一、&#xff08;左、右和全&#xff09;连接概念 内连接&#xff1a; 假设A和B表进行连接&#xff0c;使用内连接的话&#xff0c;凡是A表和B表能够匹配上的记录查询出来。A和B两张表没有主付之分&#xff0c;两张表是平等的。 关键字&#xff1a;inner join on 语句&#xf…
阅读更多...
更好用的的MybatisPlus：MybatisFlex（上）

更好用的的MybatisPlus：MybatisFlex（上）

更好用的的MybatisPlus&#xff1a;MybatisFlex&#xff08;上&#xff09; 前言 Mybatis 是我们常用的一个 ORM 框架&#xff0c;而 MybatisPlus &#xff08;以下简称 MP&#xff09; 则是对 Mybatis 进行了一层封装&#xff0c;便捷了我们的开发工作&#xff0c;但是由于其…
阅读更多...
进程管理--进程调度基本概念

进程管理--进程调度基本概念

进程调度 进程调度的核心代码实现参考 kernel/sched/ 目录文件&#xff0c;主要包含以下几个部分&#xff1a; 调度算法&#xff1a;Linux 中实现了多种不同的进程调度算法&#xff0c;如 CFS&#xff08;Completely Fair Scheduler&#xff09;、O(1) 调度算法、实时调度算法…
阅读更多...
RocketMQ Dashboard说解

RocketMQ Dashboard说解

RocketMQ Dashboard 是 RocketMQ 的管控利器&#xff0c;为用户提供客户端和应用程序的各种事件、性能的统计信息&#xff0c;支持以可视化工具代替 Topic 配置、Broker 管理等命令行操作。 介绍​ 功能概览​ 面板功能运维修改nameserver 地址; 选用 VIPChannel驾驶舱查看 …
阅读更多...
python编程:加速计算机，优化性能的关键一步——清理临时文件夹Temp

python编程:加速计算机，优化性能的关键一步——清理临时文件夹Temp

引言&#xff1a; 随着时间的推移&#xff0c;您可能会注意到计算机的性能开始变慢。这可能是由于许多因素导致的&#xff0c;其中一个常见的问题是临时文件的积累。临时文件是由操作系统和应用程序生成的临时性文件&#xff0c;它们在使用后往往被遗忘或忽视。在本篇博客中&am…
阅读更多...
[移动通讯]【Carrier Aggregation-4】【LTE-6】

[移动通讯]【Carrier Aggregation-4】【LTE-6】

前言&#xff1a; 这里主要介绍一下CA 技术里面&#xff0c;物理层主要工作。 参考&#xff1a; 载波聚合&#xff08;CA&#xff09; 目录&#xff1a; 1&#xff1a; CA 总体分析流程 2&#xff1a; CA 物理层 一 CA 总体分析流程 二 CA物理层 2.1 载波聚合LOG分析的相关包…
阅读更多...
基于微信小程序的英语互助小程序设计与实现(亮点：小组制打卡、模拟考试答题、错题本、学习论坛)

基于微信小程序的英语互助小程序设计与实现(亮点：小组制打卡、模拟考试答题、错题本、学习论坛)

文章目录 前言系统主要功能&#xff1a;具体实现截图论文参考详细视频演示为什么选择我自己的网站自己的小程序&#xff08;小蔡coding&#xff09;有保障的售后福利 代码参考源码获取 前言 &#x1f497;博主介绍&#xff1a;✌全网粉丝10W,CSDN特邀作者、博客专家、CSDN新星计…
阅读更多...
如何看待中小企业实现数字化转型难的问题？_光点科技

如何看待中小企业实现数字化转型难的问题？_光点科技

随着科技的飞速发展和市场的竞争日益激烈&#xff0c;传统制造型企业不得不迎头赶上数字化时代的步伐&#xff0c;以保持竞争力并实现可持续增长。数字化转型已成为企业生存和成功的必经之路&#xff0c;但对于那些长期依赖传统方法的企业来说&#xff0c;这个过程可能会充满挑…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023