ShardingSphere实现数据库读写分离，主从库分离，docker详细教程

news2024/11/16 23:39:09

一.什么是 ShardingSphere

引用官方的话：
Apache ShardingSphere 是一款分布式的数据库生态系统， 可以将任意数据库转换为分布式数据库，并通过数据分片、弹性伸缩、加密等能力对原有数据库进行增强。

Apache ShardingSphere 设计哲学为 Database Plus，旨在构建异构数据库上层的标准和生态。 它关注如何充分合理地利用数据库的计算和存储能力，而并非实现一个全新的数据库。 它站在数据库的上层视角，关注它们之间的协作多于数据库自身。

ShardingSphere-JDBC
ShardingSphere-JDBC 定位为轻量级 Java 框架，在 Java 的 JDBC 层提供的额外服务。

ShardingSphere-Proxy
ShardingSphere-Proxy 定位为透明化的数据库代理端，通过实现数据库二进制协议，对异构语言提供支持。
在这里插入图片描述
官方文档 - 英文版
官方文档 - 中文版

这里采用ShardingSphere-Proxy实现，介绍ShardingSphere-Proxy的搭建过程，基于ShardingSphere-Proxy实现数据库读写分离，主从复制，对于想了解数据库分片分库等其他功能的同学，建议仔细看官方文档，都有比较详细的说明

二.安装数据库，一主两重，数据库版本：8.0.28

我这里测试三台数据库都只是安装在本地，端口号不一样，真实业务情景肯定是建议多台服务器分离安装的。

1.docker安装mysql8.0.28

A.主数据库

docker pull mysql:8.0.28

docker run -p 3306:3306 --name mysql-master \
-v /home/mysql/master/log:/var/log/mysql \
-v /home/mysql/master/data:/var/lib/mysql \
-v /home/mysql/master/conf:/etc/mysql \
-e MYSQL_ROOT_PASSWORD=h@L.xZ_i20@2 \
-d mysql:8.0.28

修改配置

vim /home/mysql/master/conf/my.cnf

配置模板如下：

[client]
default-character-set=utf8
[mysql]
default-character-set=utf8
[mysqld]
pid-file        = /var/run/mysqld/mysqld.pid
socket          = /var/run/mysqld/mysqld.sock
datadir         = /var/lib/mysql
secure-file-priv= NULL

max_connections=2000
init_connect='SET collation_connection = utf8_unicode_ci'
init_connect='SET NAMES utf8'
character-set-server=utf8
collation-server=utf8_unicode_ci
skip-character-set-client-handshake
#注意：skip-name-resolve 一定要加，不然连接 mysql 会超级慢
skip-name-resolve
#添加 master 主从复制部分配置
server-id=1
log-bin=mysql-bin
#说明一下这是主库
read-only=0
#同步的数据库有这些
binlog-do-db=test
#不需要同步的数据库有这些
replicate-ignore-db=mysql
replicate-ignore-db=sys
replicate-ignore-db=information_schema
replicate-ignore-db=performance_schema

配置完成，重启

docker restart mysql-master

B.从数据库01

docker pull mysql:8.0.28

docker run -p 3317:3306 --name mysql-slaver-01 \
-v /home/mysql/slaver/log:/var/log/mysql \
-v /home/mysql/slaver/data:/var/lib/mysql \
-v /home/mysql/slaver/conf:/etc/mysql \
-e MYSQL_ROOT_PASSWORD=h@L.xZ_i20@2 \
-d mysql:8.0.28

修改配置

vim /home/mysql/slaver/conf/my.cnf

配置模板如下：

[client]
default-character-set=utf8
[mysql]
default-character-set=utf8
[mysqld]
pid-file        = /var/run/mysqld/mysqld.pid
socket          = /var/run/mysqld/mysqld.sock
datadir         = /var/lib/mysql
secure-file-priv= NULL

max_connections=2000
init_connect='SET collation_connection = utf8_unicode_ci'
init_connect='SET NAMES utf8'
character-set-server=utf8
collation-server=utf8_unicode_ci
skip-character-set-client-handshake
#注意：skip-name-resolve 一定要加，不然连接 mysql 会超级慢
skip-name-resolve
#添加 master 主从复制部分配置
server-id=2
log-bin=mysql-bin
#从库只读 read-only=1
read-only=1
#同步的 库
binlog-do-db=test
#不需要同步的数据库有这些
replicate-ignore-db=mysql
replicate-ignore-db=sys
replicate-ignore-db=information_schema
replicate-ignore-db=performance_schema

配置完成，重启

docker restart mysql-slaver-01

C.从数据库02

docker pull mysql:8.0.28

docker run -p 3327:3306 --name mysql-slaver-02 \
-v /home/mysql/slaver/log:/var/log/mysql \
-v /home/mysql/slaver/data:/var/lib/mysql \
-v /home/mysql/slaver/conf:/etc/mysql \
-e MYSQL_ROOT_PASSWORD=h@L.xZ_i20@2 \
-d mysql:8.0.28

修改配置

vim /home/mysql/slaver/conf/my.cnf

配置模板如下：

[client]
default-character-set=utf8
[mysql]
default-character-set=utf8
[mysqld]
pid-file        = /var/run/mysqld/mysqld.pid
socket          = /var/run/mysqld/mysqld.sock
datadir         = /var/lib/mysql
secure-file-priv= NULL

max_connections=2000
init_connect='SET collation_connection = utf8_unicode_ci'
init_connect='SET NAMES utf8'
character-set-server=utf8
collation-server=utf8_unicode_ci
skip-character-set-client-handshake
#注意：skip-name-resolve 一定要加，不然连接 mysql 会超级慢
skip-name-resolve
#添加 master 主从复制部分配置
server-id=3
log-bin=mysql-bin
#从库只读 read-only=1
read-only=1
#同步的 库
binlog-do-db=test
#不需要同步的数据库有这些
replicate-ignore-db=mysql
replicate-ignore-db=sys
replicate-ignore-db=information_schema
replicate-ignore-db=performance_schema

配置完成，重启

docker restart mysql-slaver-02

2.为 mysql-master 授权用户来 同步数据

1.执行命令

docker exec -it mysql-master /bin/bash

mysql -uroot -p

use mysql;

update user set Host='%' where User='root';

ALTER user 'root' IDENTIFIED BY 'h@L.xZ_i20@2';

FLUSH PRIVILEGES;

2.开启系统权限

GRANT XA_RECOVER_ADMIN ON *.* TO root@'%' ;

3.查看master 的相关信息

show master status\G;

在这里插入图片描述

留存好这个 “mysql-bin.000001”和Position 889，后面将用到

3.配置 slaver 同步 master 数据（01和02从库是一样的）

1.执行命令

docker exec -it mysql-slaver-02 /bin/bash

2.执行sql

mysql -uroot -p

update user set Host='%' where User='root';

ALTER user 'root' IDENTIFIED BY 'h@L.xZ_i20@2';

FLUSH PRIVILEGES;

#2.开启系统权限
GRANT XA_RECOVER_ADMIN ON *.* TO root@'%' ;

#3、重新加载权限表
flush privileges;

#4、设置主库连接，这里的 “mysql-bin.000001” 就是上面让记来下的			binlog,master_log_pos=889为Position

change master to
master_host='127.0.0.1',master_user='root',master_password='h@L.xZ_i20@2',master_log_file='mysql-bin.000001',master_log_pos=889,master_port=3306;

#5、启动从库同步
start slave;

#6、查看从库状态
show slave status\G;

看到这两个说明已经可以进行主从复制了：
在这里插入图片描述
如果开启主从复制失败，需要修改和重新启动，依次执行一下命令：

stop slave;
reset slave;
change master to ......#如上面完整命令
start slave;
sql主从库库创建数据库：
CREATE DATABASE test;

三.配置读写分离，创建两个yaml配置文件

1. config-test.yaml

# 配置逻辑数据库名
# 配置逻辑数据库名
schemaName: sharding_db

# 配置物理数据库参数
dataSources:
  # 主库
  write_ds:
    url: jdbc:mysql://127.0.0.1:3306/test?autoReconnect=true&useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowMultiQueries=true&useAffectedRows=true&allowPublicKeyRetrieval=true
    username: root
    password: h@L.xZ_i20@2
    connectionTimeoutMilliseconds: 3000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 200
    minPoolSize: 5
  # 从库0
  read_ds_0:
    url: jdbc:mysql://127.0.0.1:3317/test?autoReconnect=true&useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowMultiQueries=true&useAffectedRows=true&allowPublicKeyRetrieval=true
    username: root
    password: h@L.xZ_i20@2
    connectionTimeoutMilliseconds: 3000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 200
    minPoolSize: 5
  # 从库1
  read_ds_1:
    url: jdbc:mysql://127.0.0.1:3327/test?autoReconnect=true&useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowMultiQueries=true&useAffectedRows=true&allowPublicKeyRetrieval=true
    username: root
    password: h@L.xZ_i20@2
    connectionTimeoutMilliseconds: 3000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 200
    minPoolSize: 5


# 配置主从规则
rules:
  - !READWRITE_SPLITTING
    dataSources:
      pr_ds:
        writeDataSourceName: write_ds
        readDataSourceNames:
          - read_ds_0
          - read_ds_1

2.server.yaml

rules:
  - !AUTHORITY
    users:
      - root@%:h@L.xZ_i20@2
    provider:
      type: ALL_PRIVILEGES_PERMITTED

props:
  sql-show: true
  sql-simple: true

3.新建一个文件夹用于存放以上两个配置文件：/home/shardingsphere-proxy/conf

4.自行下载MYSQ 的驱动包（mysql-connector-java-8.0.27.jar），放到映射目录中：/home/shardingsphere-proxy/ext-lib

四.docker 安装 sharding proxy

1.拉取镜像

docker pull apache/shardingsphere-proxy

2.安装容器并运行

docker run  --name=shardingsphere_proxy -d -v /home/shardingsphere-proxy/conf:/opt/shardingsphere-proxy/conf -v /home/shardingsphere-proxy/ext-lib:/opt/shardingsphere-proxy/ext-lib -p 13308:3307 apache/shardingsphere-proxy:latest

3.重启容器

docker restart shardingsphere_proxy

4.查看日志

docker logs shardingsphere_proxy
#或者 
docker logs -f --tail 500 shardingsphere_proxy

五.感谢看到这里，有遇到问题，请留言

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/22812.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

计算机毕业设计ssm+vue基本微信小程序的购物商城系统

计算机毕业设计ssm+vue基本微信小程序的购物商城系统

项目介绍 随着互联网的趋势的到来,各行各业都在考虑利用互联网将自己的信息推广出去,最好方式就是建立自己的平台信息,并对其进行管理,随着现在智能手机的普及,人们对于智能手机里面的应用购物平台小程序也在不断的使用,本文首先分析了购物平台小程序应用程序的需求,从系统开发…
阅读更多...
希望所有计算机专业学生都去这些网站刷题

希望所有计算机专业学生都去这些网站刷题

LeetCode 力扣，强推！力扣虐我千百遍，我待力扣如初恋！ 从现在开始，每天一道力扣算法题，坚持几个月的时间，你会感谢我的（傲娇脸） 我刚开始刷算法题的时候，就选…
阅读更多...
[vue] nodejs安装教程

[vue] nodejs安装教程

介绍：nodejs 是一个开源的跨平台的JavaScript运行时环境，因此在运行前端项目时是需要安装配置相应的环境变量。 一、下载nodejs 二、安装nodejs 三、配置nodejs的环境变量 四、验证配置的nodejs 一、下载nodejs nodejs下载官网地址：下载 …
阅读更多...
【C++基础】this指针

【C++基础】this指针

this指针 this指针作用： c的数据和操作也是分开存储，并且每一个非内联成员函数只会诞生一份函数实例，也就是说多个同类型的对象会共用同一块代码。所以，用this指针表明哪个对象调用自己。 定义： this指针指向被调用的…
阅读更多...
Day08--自定义组件的behaviors(等用于vue中的mixins)

Day08--自定义组件的behaviors(等用于vue中的mixins)

1.啥子是behaviors呢？ ************************************ ************************************ ************************************ ************************************ ************************************ ************************************ 2…
阅读更多...
基地树洞 | 自动化小系列之番外篇

基地树洞 | 自动化小系列之番外篇

程序员或许只是一份工作，编码或许是为了生存，但是归根结底，我们为什么要写代码？ 有没有⼀种可能，在我们的日常工作生活中，代码的初衷就是为了提升工作作效率，减少不必要的重复！ 今…
阅读更多...
钱包追踪分析的 3 个使用案例

钱包追踪分析的 3 个使用案例

Nov. 2022, Vincy Data Source: Footprint Analytics - Wallet Profile 钱包跟踪分析让分析师了解区块链用户的链上活动和持仓情况。 在本文中，我们将介绍钱包分析器发现的一些指标。 Footprint Analytics - Wallet Profile Footprint Analytics 从中挑选相对比较…
阅读更多...
JVM 核心技术 - 知识点整理

JVM 核心技术 - 知识点整理

JVM 核心技术 JAVA 前言 JDK (Java Development Kit) JRE 开发工具JRE(Java Runtime Environment) JVM (Java Virtual Machine) 类库一次编译，到处执行的原理： java字节码可以在有JVM的环境中运行，不关心操作系统的版本，减少…
阅读更多...
Spring Cloud版本，Spring Boot版本详细对应关系

Spring Cloud版本，Spring Boot版本详细对应关系

目录 一、官网（网页版） 二、官网（API接口） 三、根据历史官方文档梳理、保存的表格 四、官方（wiki）Spring Cloud的各个组件与Spring Boot支持、对应关系 有多个方式可以查看Spring Boot和Spring Cloud版本…
阅读更多...
嵌入式分享合集107

嵌入式分享合集107

一、Wi-Fi HaLow Wi-Fi HaLow很快就会出现在我们日常生活中的智慧门锁、安保摄影机、可穿戴设备和无线传感器网络上。什么是Wi-Fi HaLow？与传统的Wi-Fi（4/5/6）有何不同？究竟是什么让Wi-Fi HaLow成为物联网的理想协议？…
阅读更多...
【初阶数据结构】——带头双向循环链表（C描述）

【初阶数据结构】——带头双向循环链表（C描述）

文章目录前言带头双向循环链表实现1. 结构介绍2. 结点创建3. 初始化4. 销毁5. 头插6. 头删7. 尾插8. 尾删9. 打印10. 查找11. 在pos之前插入数据12. 删除pos位置13. 判空14. 计算大小源码展示1. DoubleList.h2. DoubleList.c3. Test.c前言 上一篇文章我们学习了单链表&#xff…
阅读更多...
SpringBoot自动装配原理

SpringBoot自动装配原理

目录一、前言二、SpringBoot自动装配核心源码2.1、SpringBootApplication2.2、EnableAutoConfiguration2.3、Import(AutoConfigurationImportSelector.class)2.3.1、selectImports方法2.3.2、getAutoConfigurationEntry方法2.3.3、getCandidateConfigurations方法2.3.4、Spring…
阅读更多...
在阿里云 ACK 上部署 EMQX MQTT 服务器集群

在阿里云 ACK 上部署 EMQX MQTT 服务器集群

云进入以「应用为中心」的云原生阶段，Operator 模式的出现，则为 Kubernetes 中的自动化任务创建配置与管理提供了一套行之有效的标准规范。通过将运维知识固化成高级语言 Go/Java 代码，使得运维知识可以像普通软件一样交付，并能支…
阅读更多...
欧姆龙NJ/NX基于Sysmac Studio的EIP通讯 方式

欧姆龙NJ/NX基于Sysmac Studio的EIP通讯 方式

目录 Omorn - NJ301-1100 AND NX102-9000 EIP - Sysmac Studio 测试案例IP 创建变量类型 通讯配置 控制器程序下载 通讯测试 Omorn - NJ301-1100 AND NX102-9000 EIP - Sysmac Studio 测试案例IP 创建变量类型 通讯配置 控制器程序下载 通讯测试 Omorn - NJ301-1100…
阅读更多...
Go语言快速入门笔记

Go语言快速入门笔记

文章目录import匿名导包和别名导包的方式defer语句数组和动态数组固定长度数组切片（动态数组）切片的容量追加和截取map面向对象struct继承多态interface空接口万能类型与类型断言机制变量的内置pair结构变量结构reflect包(反射)reflect反射解析结构体标签…
阅读更多...
【Java毕设】基于idea Java的在线考试系统（附源码+课件）

【Java毕设】基于idea Java的在线考试系统（附源码+课件）

项目介绍： 本系统是一个基于java的在线考试系统。它的用户由学生、教师和系统管理员组成。学生登陆系统可以进行在线测试和成绩查询。当学生登陆时，系统会随机地为学生选取试题组成考卷。当学生提交考卷后，系统会自动批改客观题，…
阅读更多...
html实现爱情告白(附源码)

html实现爱情告白(附源码)

文章目录1.设计来源1.1 主界面1.2 执子之手，与子偕老1.3 死生契阔，与子成说1.4 生当复来归，死当长相思1.5 自君之出矣，明镜暗不治1.6 思君如流水，何有穷已时1.7 南有乔木，不可休思1.8 汉有游女，…
阅读更多...
快递查询工具，一键查物流,派件时效怎么分析

快递查询工具，一键查物流,派件时效怎么分析

快递发货后，该如何快速查询到物流信息、比如怎么分析派件时效呢？今天小编给大家分享一个新的技巧，它支持多家快递，一次能查询多个单号物流，还能对查询到的物流进行分析、导出以及筛选，下面一起来试试吧。 …
阅读更多...
3000万人气的腾格尔，会和金鸡奖提名电影《巴林塔娜》合作吗

3000万人气的腾格尔，会和金鸡奖提名电影《巴林塔娜》合作吗

刚刚结束的2022年11月19日，对于“草原歌神”腾格尔来说，注定是要被载入史册的一天。2022年11月19日，是卡特尔世界杯开幕式的前一夜，腾格尔老师也通过某音平台，开启了自己的线上演唱会。 说起明星们的演唱会&#xff0c…
阅读更多...
redis 登录案例

redis 登录案例

下图就是登录controller Controller public class LoginController {RequestMapping("/login")public String Login(String username, String password, HttpServletResponse response){System.out.println(username);System.out.println(password);//判断账号密码 …
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023