MySQL主从复制与读写分离（附配置实例）

一、主从复制
- 1.1 什么是主从复制？
- 1.2 MySQL支持的复制类型
- 1.3 主从复制的工作过程
- 1.4 主从复制的同步模式
- - 1.4.1 异步复制（Asynchronous replication）
  - 1.4.2 全同步复制（Fully synchronous replication）
  - 1.4.3 半同步复制（Semisynchronous replication）
  - - 1.4.3.1 定义
    - 1.4.3.2 配置
  - 1.4.4 什么情况下半同步和异步会互相转换
- 1.5 MySQL主从复制延时问题的原因和解决办法
- - 1.5.1 故障现象
  - 1.5.2 原因
  - 1.5.3 解决方法
二、读写分离
- 2.1 什么是读写分离？
- 2.2 为什么要读写分离呢？
- 2.3 什么时候要读写分离？
- 2.4 MySQL 读写分离原理
- 2.5 常见的实现方式
- - 2.5.1 基于程序代码内部实现
  - 2.5.2 基于中间代理层实现
三、主从复制实例（一主多从模式）
- 1）MySQL主从服务器时间同步
- 2）主服务器的MySQL配置
- 3）从服务器的MySQL配置
- 4）主从复制效果测试
四、读写分离实例
- 4.1 实现主从复制
- 4.2 配置Amoeba服务器（代理服务器）
- 4.3 测试读写分离

一、主从复制

通过主从复制，可以实现读写分离。

1.1 什么是主从复制？

MySQL主从复制是一种数据库复制技术，用于将一个MySQL数据库服务器的更改同步到其他MySQL数据库服务器。

在主从复制中，有一个主数据库（Master）和一个或多个从数据库（Slave）。

主数据库负责接收和处理所有的写操作，而从数据库则通过复制主数据库的日志文件，将这些写操作在自身的数据库中重演，从而实现数据的同步。

1.2 MySQL支持的复制类型

1）STATEMENT：基于语句的复制。在服务器上执行sql语句，在从服务器上执行同样的语句，mysql默认采用基于语句的复制，执行效率高；

2）ROW：基于行的复制。把改变的内容复制过去，而不是把命令在从服务器上执行一遍；

3）MIXED：混合类型的复制。默认采用基于语句的复制，一旦发现基于语句无法精确复制时，就会采用基于行的复制。

1.3 主从复制的工作过程

两个日志，三个线程

在这里插入图片描述

1）当主服务器数据发生改变时，将数据更新写入二进制日志中；

2）从服务器探测到主服务器的二进制日志发生改变后，开启I/O线程向主服务器请求二进制日志事件/记录；

3）主服务器为每个I/O线程开启dump线程，向从服务器发送二进制日志事件；

4）从服务器的I/O线程将主服务器的二进制日志事件保存到本地中继日志中；

5）Slave节点将启动SQL线程从中继日志中读取二进制日志，在本地重放，即解析成 sql 语句逐一执行，使得其数据和 Master节点的保持一致；

6）最后I/O线程和SQL线程将进入睡眠状态，等待下一次被唤醒。

注：
●中继日志通常会位于 OS 缓存中，所以中继日志的开销很小。
●复制过程有一个很重要的限制，即复制在 Slave上是串行化的，也就是说 Master上的并行更新操作不能在 Slave上并行操作。

1.4 主从复制的同步模式

1.4.1 异步复制（Asynchronous replication）

一个主库，一个或多个从库，数据异步同步到从库
在这里插入图片描述

MySQL默认的复制即是异步的。
主库在执行完客户端提交的事务后会立即将结果返给客户端，并不关心从库是否已经接收并处理。

这样就会有一个问题，主如果crash掉了，此时主上已经提交的事务可能并没有传到从上，如果此时，强行将从提升为主，可能导致新主上的数据不完整。

1.4.2 全同步复制（Fully synchronous replication）

指当主库执行完一个事务，所有的从库都执行了该事务才返回给客户端。
因为需要等待所有从库执行完该事务才能返回，所以全同步复制的性能必然会收到严重的影响。

1.4.3 半同步复制（Semisynchronous replication）

在异步复制的基础上，确保任何一个主库上的事物在提交之前至少有一个从库已经收到该事物并日志记录下来。
在这里插入图片描述

1.4.3.1 定义

介于异步复制和全同步复制之间。

主库在执行完客户端提交的事务后不是立刻返回给客户端，而是等待至少一个从库接收到并写到relay log中才返回给客户端（只能保证主库的 Binlog 至少传输到了一个从节点上），否则需要等待直到超时时间然后切换成异步模式再提交。

相对于异步复制，半同步复制提高了数据的安全性，同时它也造成了一定程度的延迟，这个延迟最少是一个TCP/IP往返的时间。
所以，半同步复制最好在低延时的网络中使用。

1.4.3.2 配置

1.主数据库配置

vim /etc/my.cnf				
#在 [mysqld] 区域添加下面内容
......
plugin-load=rpl_semi_sync_master=semisync_master.so#加载mysql半同步复制的插件
rpl_semi_sync_master_enabled=ON
#或者设置为"1"，即开启半同步复制功能
rpl-semi-sync-master-timeout=1000
#超时时间为1000ms，即1s

systemctl restart mysqld

2.从数据库配置

#从数据库配置
vim /etc/my.cnf	
......
plugin-load=rpl_semi_sync_slave=semisync_slave.so
rpl_semi_sync_slave_enabled=ON

systemctl restart mysqld

3.查看半同步是否在运行

#主数据库执行
show status like 'Rpl_semi_sync_master_status';
show variables like 'rpl_semi_sync_master_timeout';

#从数据库执行（此时可能还是OFF状态，需要在下一步重启IO线程后，从库半同步状态才会为ON）
show status like 'Rpl_semi_sync_slave_status';

#重启从数据库上的IO线程
STOP SLAVE IO_THREAD;
START SLAVE IO_THREAD;

#在主库查询半同步状态
show status like '%Rpl_semi%';

#参数说明

Rpl_semi_sync_master_clients              		#半同步复制客户端的个数
Rpl_semi_sync_master_net_avg_wait_time    		#平均等待时间（默认毫秒）
Rpl_semi_sync_master_net_wait_time        		#总共等待时间
Rpl_semi_sync_master_net_waits            		#等待次数
Rpl_semi_sync_master_no_times             		#关闭半同步复制的次数
Rpl_semi_sync_master_no_tx                		#表示没有成功接收slave提交的次数
Rpl_semi_sync_master_status               		#表示当前是异步模式还是半同步模式，on为半同步
Rpl_semi_sync_master_timefunc_failures    		#调用时间函数失败的次数
Rpl_semi_sync_master_tx_avg_wait_time     		#事物的平均传输时间
Rpl_semi_sync_master_tx_wait_time         		#事物的总共传输时间
Rpl_semi_sync_master_tx_waits             		#事物等待次数
Rpl_semi_sync_master_wait_pos_backtraverse		#可以理解为"后来的先到了，而先来的还没有到的次数"
Rpl_semi_sync_master_wait_sessions        		#当前有多少个session因为slave的回复而造成等待
Rpl_semi_sync_master_yes_tx               		#成功接受到slave事物回复的次数

1.4.4 什么情况下半同步和异步会互相转换

当半同步复制发生超时（由rpl_semi_sync_master_timeout参数控制，默认为10000ms，即10s），会暂时关闭半同步复制，转而使用异步复制，也就是会自动降为异步工作。
当 master dump 线程发送完一个事务的所有事件之后，如果在rpl_semi_sync_master_timeout 内，收到了从库的响应，则主从又重新恢复为半同步复制

1.5 MySQL主从复制延时问题的原因和解决办法

1.5.1 故障现象

MySQL主从复制延时问题的故障现象通常表现为主库上的数据变更在从库上出现延迟。
这可能导致从库上的数据与主库不同步，并可能对应用程序或业务产生一些问题。

一些常见的故障现象包括：

从库数据延迟：主库上的数据变更在从库上出现延迟，通常可以通过查看从库的 Seconds_Behind_Master 参数来确定延迟的时间。
延迟逐渐增加：从库上的延迟可能会逐渐增加，从几秒钟到几分钟甚至更长。
复制停止：复制进程可能会在某些情况下停止，导致复制完全中断。
数据丢失：如果出现严重的复制延迟或复制停止，可能会导致从库上的数据丢失。在复制延迟问题得到解决之前，从库上的数据可能无法与主库保持同步。

1.5.2 原因

1）master服务器高并发，形成大量事务；
2）网络延迟；
3）主从硬件设备导致（cpu主频、内存io、硬盘io）；
4）是同步复制、而不是异步复制；

1.5.3 解决方法

从库优化Mysql参数；
比如增大innodb_buffer_pool_size，让更多操作在Mysql内存中完成，减少磁盘操作。
从库使用高性能主机；
包括cpu强悍、内存加大。避免使用虚拟云主机，使用物理主机，这样提升了i/o方面性。
从库使用SSD磁盘；
网络优化，避免跨机房实现同步。

二、读写分离

读写分离基于主从复制实现

主服务器实现读

从服务器实现写

提升数据库的并发负载能力

2.1 什么是读写分离？

读写分离，基本的原理是让主数据库处理事务性增、改、删操作（INSERT、UPDATE、DELETE），而从数据库处理SELECT查询操作。
数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。

2.2 为什么要读写分离呢？

因为数据库的“写”（写10000条数据可能要3分钟）操作是比较耗时的。
但是数据库的“读”（读10000条数据可能只要5秒钟）。
所以读写分离，解决的是，数据库的写入，影响了查询的效率。

2.3 什么时候要读写分离？

数据库不一定要读写分离，如果程序使用数据库较多时，而更新少，查询多的情况下会考虑使用。

利用数据库主从同步，再通过读写分离可以分担数据库压力，提高性能。

2.4 MySQL 读写分离原理

读写分离就是只在主服务器上写，只在从服务器上读。

基本的原理是让主数据库处理事务性操作，而从数据库处理 select 查询。

数据库复制被用来把主数据库上事务性操作导致的变更同步到集群中的从数据库。

2.5 常见的实现方式

2.5.1 基于程序代码内部实现

在代码中根据 select、insert 进行路由分类，这类方法也是目前生产环境应用最广泛的。

优点是性能较好，因为在程序代码中实现，不需要增加额外的设备为硬件开支；

缺点是需要开发人员来实现，运维人员无从下手。

但是并不是所有的应用都适合在程序代码中实现读写分离，像一些大型复杂的Java应用，如果在程序代码中实现读写分离对代码改动就较大。

2.5.2 基于中间代理层实现

代理一般位于客户端和服务器之间，代理服务器接到客户端请求后通过判断后转发到后端数据库，有以下代表性程序。

1）MySQL-Proxy

MySQL-Proxy 为 MySQL 开源项目，通过其自带的 lua 脚本进行SQL 判断。

2）Atlas

是由奇虎360的Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。

它是在mysql-proxy 0.8.2版本的基础上，对其进行了优化，增加了一些新的功能特性。

360内部使用Atlas运行的mysql业务，每天承载的读写请求数达几十亿条。

支持事物以及存储过程。

3）Amoeba

由陈思儒开发，作者曾就职于阿里巴巴。该程序由Java语言进行开发，阿里巴巴将其用于生产环境。但是它不支持事务和存储过程。

4）Mycat

是一款流行的基于Java语言编写的数据库中间件，是一个实现了MySql协议的服务器，其核心功能是分库分表。配合数据库的主从模式还可以实现读写分离。

由于使用MySQL Proxy 需要写大量的Lua脚本，这些Lua并不是现成的，而是需要自己去写。这对于并不熟悉MySQL Proxy 内置变量和MySQL Protocol 的人来说是非常困难的。
Amoeba是一个非常容易使用、可移植性非常强的软件。因此它在生产环境中被广泛应用于数据库的代理层。

三、主从复制实例（一主多从模式）

服务器	IP地址
Master 服务器	192.168.2.100	mysql5.7
Slave1 服务器	192.168.2.102	mysql5.7
Slave2 服务器	192.168.2.103	mysql5.7

主服务器开启二进制日志功能

从服务器开启中继日志功能

#所有服务器
#关闭防火墙
systemctl disable firewalld --now 
#关闭selinux
vim /etc/selinux/config
SELINUX=disabled

1）MySQL主从服务器时间同步

主服务器

作为NTP服务器

#安装并启动ntp服务
yum -y install ntp

systemctl enable ntpd --now
systemctl status ntpd

在这里插入图片描述

#修改ntp的配置文件，使用阿里云的时间源
vim /etc/ntp.conf

server ntp.aliyun.com iburst #注释掉其他的

grep server /etc/ntp.conf

在这里插入图片描述

#重启服务
systemctl restart ntpd
#查看状态
ntpq -p

在这里插入图片描述

从服务器 Slave1 Slave2 配置相同

#安装ntp服务
yum -y install ntp

#计划任务
crontab -e 
*/30 * * * * /sbin/ntpdate 192.168.2.100

crontab -l

在这里插入图片描述

#测试能否同步成功
ntpdate 192.168.2.100

在这里插入图片描述

2）主服务器的MySQL配置

记住这三个配置项

#设置二进制日志文件过期时间，默认值为0，表示logs不过期 
expire_logs_days=7	
#设置二进制日志限制大小，如果超出给定值，日志就会发生滚动，默认值是1GB
max_binlog_size=500M
#阻止从库崩溃后自动启动复制，崩溃后再自动复制可能会导致数据不一致的
skip_slave_start=1

修改MySQL配置文件

vim /etc/my.cnf

server-id=11
#主服务器开启二进制日志
log-bin=mysql-bin						
binlog_format=mixed
	
#选配
#设置二进制日志文件过期时间，默认值为0，表示logs不过期 
expire_logs_days=7	
#设置二进制日志限制大小，如果超出给定值，日志就会发生滚动，默认值是1GB
max_binlog_size=500M
#阻止从库崩溃后自动启动复制，崩溃后再自动复制可能会导致数据不一致的
skip_slave_start=1						

#"双1设置"，数据写入最安全
innodb_flush_logs_at_trx_commit=1		
#redo log（事务日志）的刷盘策略，每次事务提交时MySQL都会把事务日志缓存区的数据写入日志文件中，并且刷新到磁盘中，该模式为系统默认
sync_binlog=1							
#在进行每1次事务提交（写入二进制日志）以后，Mysql将执行一次fsync的磁盘同步指令，将缓冲区数据刷新到磁盘
---------------------------------------------------------------
#"双1设置"适合数据安全性要求非常高，而且磁盘IO写能力足够支持的业务，比如订单、交易、充值、支付消费系统。"双1模式"下，当磁盘IO无法满足业务需求时，比如11.11活动的压力。推荐一下性能较快的设置，并使用带蓄电池后备电源，防止系统断电异常。
innodb_flush_logs_at_trx_commit=2		
#每次事务提交时MySQL都会把日志缓存区的数据写入日志文件中，但是并不会同时刷新到磁盘上。该模式下，MySQL会每秒执行一次刷新磁盘操作
sync_binlog=500							
#在进行500次事务提交以后，Mysql将执行一次fsync的磁盘同步指令，将缓冲区数据刷新到磁盘


server-id=11
log-bin=mysql-bin						
binlog_format=mixed
expire_logs_days=7	
max_binlog_size=500M
skip_slave_start=1


innodb_flush_logs_at_trx_commit=1		
sync_binlog=1

#修改完成后，重启服务
systemctl restart mysqld

在这里插入图片描述

登录到数据库，给从服务器授权

mysql -u root -p123123

#给从服务器授权
grant replication slave on *.* to 'byybs'@'192.168.2.%' identified by '123456';

flush privileges;

show master status;
#File 列显示日志名，Position 列显示偏移量

在这里插入图片描述

3）从服务器的MySQL配置

记住
#用于缓存数据和索引的内存大小，让更多数据读写内存中完成，减少磁盘操作，可设置为服务器总可用内存的 70-80%
innodb_buffer_pool_size=2048M

Slave1

修改MySQL配置文件

vim /etc/my.cnf

#修改，注意id与Master的不同，两个Slave的id也要不同
server-id = 22		
#开启中继日志，从主服务器上同步日志文件记录到本地
relay-log=relay-log-bin
#定义中继日志文件的位置和名称，一般和relay-log在同一目录
relay-log-index=relay-log-bin.index			

#选配项

#用于缓存数据和索引的内存大小，让更多数据读写内存中完成，减少磁盘操作，可设置为服务器总可用内存的 70-80%
innodb_buffer_pool_size=2048M
#MySQL不做任何强制性的磁盘刷新指令，而是依赖操作系统来刷新数据到磁盘
sync_binlog=0
#每次事务log buffer会写入log file，但一秒一次刷新到磁盘
innodb_flush_log_at_trx_commit=2
#slave 从 master 复制的数据会写入二进制日志文件里，从库做为其他从库的主库时设置为 1
log-slave-updates=0
#当 slave 从库宕机后，假如 relay-log 损坏了，导致一部分中继日志没有处理，则自动放弃所有未执行的 relay-log， 并且重新从 master 上获取日志，这样就保证了 relay-log 的完整性。默认情况下该功能是关闭的，将 relay_log_recovery 的值设置为 1 时， 可在 slave 从库上开启该功能，建议开启。
relay_log_recovery=1				


server-id = 22		
relay-log=relay-log-bin
relay-log-index=relay-log-bin.index			
innodb_buffer_pool_size=2048M
sync_binlog=0
innodb_flush_log_at_trx_commit=2
log-slave-updates=0
relay_log_recovery=1

systemctl restart mysqld

在这里插入图片描述

mysql -u root -pabc123
change master to master_host='192.168.2.100',master_user='byybs',master_password='123456',master_log_file='mysql-bin.000002',master_log_pos=600;					
#配置同步，注意 master_log_file 和 master_log_pos 的值要与Master查询的一致

start slave;						#启动同步，如有报错执行 reset slave;
show slave status\G					#查看 Slave 状态
//确保 IO 和 SQL 线程都是 Yes，代表同步正常。
Slave_IO_Running: Yes				#负责与主机的io通信
Slave_SQL_Running: Yes				#负责自己的slave mysql进程

在这里插入图片描述

Slave2

vim /etc/my.cnf

server-id = 33		
relay-log=relay-log-bin
relay-log-index=relay-log-bin.index			
innodb_buffer_pool_size=2048M
sync_binlog=0
innodb_flush_log_at_trx_commit=2
log-slave-updates=0
relay_log_recovery=1

systemctl restart mysqld

在这里插入图片描述

mysql -u root -p123123

change master to master_host='192.168.2.100',master_user='byybs',master_password='123456',master_log_file='mysql-bin.000002',master_log_pos=600;					
#配置同步，注意 master_log_file 和 master_log_pos 的值要与Master查询的一致

start slave;						#启动同步，如有报错执行 reset slave;
show slave status\G					#查看 Slave 状态
//确保 IO 和 SQL 线程都是 Yes，代表同步正常。
Slave_IO_Running: Yes				#负责与主机的io通信
Slave_SQL_Running: Yes				#负责自己的slave mysql进程

在这里插入图片描述

4）主从复制效果测试

主服务器上进入执行 
create database zc_test;

在这里插入图片描述

去从服务器上查看 
show databases;

在这里插入图片描述

四、读写分离实例

在这里插入图片描述

服务器	IP
Master 服务器	192.168.2.100	mysql5.7
Slave1 服务器	192.168.2.102	mysql5.7
Slave2 服务器	192.168.2.103	mysql5.7
Amoeba 服务器	192.168.2.105	jdk1.6、Amoeba
客户端服务器	192.168.2.106	mysql

4.1 实现主从复制

配置过程详见上文

4.2 配置Amoeba服务器（代理服务器）

在这里插入图片描述

1）安装 Java 环境

#因为 Amoeba 基于是 jdk1.5 开发的，所以官方推荐使用 jdk1.5 或 1.6 版本，高版本不建议使用。
cd /opt/new
cp jdk-6u14-linux-x64.bin /usr/local/
cd /usr/local/

chmod +x jdk-6u14-linux-x64
./jdk-6u14-linux-x64.bin
#协议阅读完成后，输入yes,开始安装
#安装完成后，按enter，退出安装

在这里插入图片描述

mv jdk1.6.0_14/ /usr/local/jdk1.6

vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.6
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export AMOEBA_HOME=/usr/local/amoeba
export PATH=$PATH:$AMOEBA_HOME/bin

source /etc/profile
java -version

在这里插入图片描述

2）安装 Amoeba软件

mkdir /usr/local/amoeba

tar zxvf amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba/

chmod -R 755 /usr/local/amoeba/

#启动amoeba
/usr/local/amoeba/bin/amoeba

在这里插入图片描述

3）配置 Amoeba读写分离，两个 Slave 读负载均衡\

在Master、Slave1、Slave2 的mysql上开放权限给 Amoeba 访问

grant all on *.* to 'byyba'@'192.168.2.%' identified by '123123';

在Amoeba服务器配置amoeba服务

先修改amoeba配置文件

cd /usr/local/amoeba/conf/
#备份配置文件
cp amoeba.xml amoeba.xml.bak

#修改amoeba配置文件
vim amoeba.xml

--30行--
<property name="user">amoeba</property>

--32行-- 
<property name="password">123456</property>

--115行--
<property name="defaultPool">master</property>

--117-去掉注释-
<property name="writePool">master</property>
<property name="readPool">slaves</property>

在这里插入图片描述

修改数据库配置文件

#备份
cp dbServers.xml dbServers.xml.bak

vim dbServers.xml #修改数据库配置文件

--23行--注释掉  作用：默认进入test库 以防mysql中没有test库时，会报错
<!-- <property name="schema">test</property> 
-->
#授权用户和密码 添加
--27--修改
<property name="user">byyba</property>

--28-30--去掉注释
<property name="password">123123</property>

#主备服务器设置
--45--修改，设置主服务器的名Master
<dbServer name="master"  parent="abstractServer">

--48--修改，设置主服务器的地址
<property name="ipAddress">192.168.2.100</property>

--52--修改，设置从服务器的名slave1
<dbServer name="slave1"  parent="abstractServer">

--55--修改，设置从服务器1的地址
<property name="ipAddress">192.168.2.102</property>

--58--复制上面6行粘贴，设置从服务器2的名slave2和地址
<dbServer name="slave2"  parent="abstractServer">
<property name="ipAddress">192.168.2.103</property>

#设置读负载均衡
--65行--修改
<dbServer name="slaves" virtual="true">

--71行--修改
<property name="poolNames">slave1,slave2</property>

在这里插入图片描述

/usr/local/amoeba/bin/amoeba start&				
#启动Amoeba软件，按ctrl+c 返回
ss -anpt | grep java							
#查看8066端口是否开启，默认端口为TCP 8066

在这里插入图片描述

4.3 测试读写分离

#客户端
yum install -y mariadb-server mariadb
systemctl start mariadb.service

在客户端服务器上测试：
mysql -u amoeba -p123456 -h 192.168.2.105 -P8066		
#通过amoeba服务器代理访问mysql ，在通过客户端连接mysql后写入的数据只有主服务会记录，然后同步给从--从服务器

在这里插入图片描述

#在主服务器上
use test;
create table testb (id int(10),name varchar(10),address varchar(20));

在这里插入图片描述

#在两台从服务器上
stop slave;											#关闭同步
use test;

#在slave1上：
insert into testb values('1','zhangsan','this_is_slave1');

#在slave2上：
insert into testb values('2','lisi','this_is_slave2');

在这里插入图片描述

#在主服务器上：
insert into testb values('3','wangwu','this_is_master');

在这里插入图片描述

#在客户端服务器上：
use test;
select * from testb;		
#客户端会分别向slave1和slave2读取数据，显示的只有在两个从服务器上添加的数据，没有在主服务器上添加的数据

insert into test values('4','qianqi','this_is_client');		
#只有主服务器上有此数据

在这里插入图片描述

#在两个从服务器上执行 start slave; 即可实现同步在主服务器上添加的数据
start slave;

在这里插入图片描述