文章目录

MHA高可用配置及故障切换
- MHA概念
- 实验配置
- - 时间同步与主从复制
  - 安装MHA服务
  - SSH免交互认证
  - 验证MHA服务是否开启
  - 启动服务
- 故障模拟
- 恢复故障
- 过程

MHA高可用配置及故障切换

MHA概念

MHA（MasterHigh Availability）是一套优秀的MySQL高可用环境下故障切换和主从复制的软件。
MHA 的出现就是解决MySQL 单点的问题。

在这里插入图片描述

MHA（MasterHigh Availability）概述
- 一套优秀的MySQL高可用环境下故障切换和主从复制的软件
- MHA的出现就是解决MySQL单点的问题
- MySQL故障过程中，MHA能做到0-30秒内自动完成故障切换
- MHA能在最大程度上保证数据的一致性，以达到真正意义的高可用
MHA的组成
- MHA Manager (管理节点)
- MHA Manager 可以单独部署在一台独立的机器上，管理多个 master-slave 集群；也可以部署在一台 slave 节点上。
- MHA Manager 会定时探测集群中的 master 节点。当master 出现故障时，它可以自动将最新数据的 slave 提升为新的 master，然后将所有其他的 slave 重新指向新的master。整个故障转移过程对应用程序完全透明。
- MHA Node (数据节点)
- MHA Node 运行在每台 MySQL 服务器上。
MHA: Master High Availability，对主节点进行监控，可实现自动故障转移至其它从节点;通过提升某一从节点为新的主节点，基于主从复制实现，还需要客户端配合实现，目前MHA主要支持一主多从的架构，要搭建MHA,要求一个复制集群中必须最少有三台数据库服务器，一主二从，即一台充当master，一台充当备用master，另外一台充当从库。
MHA的特点

自动故障切换过程中，MHA试图从宕机的主服务器上保存二进制日志，最大程度的保证数据不丢失
使用半同步复制，可以大大降低数据丢失的风险，如果只有一个slave已经收到了最新的二进制日志，MHA可以将最新的二进制日志应用于其他所有的slave服务器上，因此可以保证所有节点的数据一致性
目前MHA支持一主多从架构，最少三台服务，即一主两从

工作过程
- MHA Manager 会定时探测（使用ping方法）集群中的 master 节点。当master 出现故障时，它可以自动将最新数据的 slave 提升为新的 master，然后将所有其他的 slave 重新指向新的master，同时VIP会漂移到新master上。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TmnaT29b-1687910391119)(E:\Typora\images\image-20230627134906733.png)]

mysql集群高可用架构
- keepalived
- MHA（一主多从）
- MMM（双主多从）

实验配置

时间同步与主从复制

##所有服务器进行时间同步
ntpdate ntp.aliyun.com

##所有服务器关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
setenforce 0

##所有服务器设置服务名

hostnamectl set-hostname mysql1
hostnamectl set-hostname mysql2
hostnamectl set-hostname mysql3
hostnamectl set-hostname manager

su

##所有服务器设置地址映射

vim /etc/hosts

192.168.242.66 mysql1
192.168.242.67 mysql2
192.168.242.68 mysql3
192.168.242.69 manager

主从复制

##所有mysql服务器设置配置文件

vim /etc/my.cnf


log-bin = mysql-bin
binlog_format = mixed
relay-log = relay-log-bin
relay-log-index = relay-log-bin.index
log-slave-updates = 1

systemctl restart mysqld

##所有mysql服务器设置软连接

ln -s /usr/local/mysql/bin/mysql /usr/sbin/
ln -s /usr/local/mysql/bin/mysqlbinlog /usr/sbin/

##所有mysql服务器授权用户

##主从复制用户授权
grant replication slave on *.* to 'myslave'@'192.168.242.%' identified by '123';	


##manager管理用户授权
grant all privileges on *.* to 'manager'@'192.168.242.%' identified by '123';	



##下面是授权管理用户域名
grant all privileges on *.* to 'manager'@'mysql1' identified by '123';

grant all privileges on *.* to 'manager'@'mysql2' identified by '123';

grant all privileges on *.* to 'manager'@'mysql3' identified by '123';


flush privileges;

##主从复制,主服务器
show master status;



##从服务器

change master to 
master_host='192.168.242.66',
master_user='myslave',
master_password='123',
master_log_file='mysql-bin.000001',
master_log_pos=899,
master_port=3306; 

start slave;

##查看主从复制是否成功
show slave status\G

##设置所有从服务器只读
set global read_only=1;

##主服务器创建库和表，添加数据

create database test1;
use test1;
create table name (id int, name varchar(10), age int, hobby varchar(50));

insert into name values (1,'张三',16,'鸡蛋');

安装MHA服务

##所有服务器安装依赖包
##epel依赖包
yum -y install epel-release --nogpgcheck

##perl依赖包
yum install -y perl-DBD-MySQL \
perl-Config-Tiny \
perl-Log-Dispatch \
perl-Parallel-ForkManager \
perl-ExtUtils-CBuilder \
perl-ExtUtils-MakeMaker \
perl-CPAN

##先所有服务器安装  node组件
cd /opt
tar zxvf mha4mysql-node-0.57.tar.gz
cd mha4mysql-node-0.57
perl Makefile.PL
make -j2 && make install


##再manager服务器上安装  manager组件
cd /opt
tar zxvf mha4mysql-manager-0.57.tar.gz
cd mha4mysql-manager-0.57
perl Makefile.PL
make -j2 && make install

manager组件中的工具的解释

cd /usr/local/bin 

#manager 组件安装后在/usr/local/bin 下面会生成几个工具，主要包括以下几个：
masterha_check_ssh      检查 MHA 的 SSH 配置状况
masterha_check_repl     检查 MySQL 复制状况
masterha_manger         启动 manager的脚本
masterha_check_status   检测当前 MHA 运行状态
masterha_master_monitor 检测 master 是否宕机
masterha_master_switch  控制故障转移（自动或者手动）
masterha_conf_host      添加或删除配置的 server 信息
masterha_stop           关闭manager

node组件的脚本解释

#node 组件安装后也会在/usr/local/bin 下面会生成几个脚本（这些工具通常由 MHAManager 的脚本触发，无需人为操作）主要如下：

save_binary_logs 
保存和复制 master 的二进制日志

apply_diff_relay_logs 
识别差异的中继日志事件并将其差异的事件应用于其他的 slave

filter_mysqlbinlog 
去除不必要的 ROLLBACK 事件（MHA 已不再使用这个工具）

purge_relay_logs 
清除中继日志（不会阻塞 SQL 线程）

SSH免交互认证

##manager与所有的mysql服务器设置免交互认证

yum -y install sshpass
ssh-keygen -t rsa 				#一路按回车键

vim /etc/ssh/ssh_config
StrictHostKeyChecking no


sshpass -p '123' ssh-copy-id mysql1
sshpass -p '123' ssh-copy-id mysql2
sshpass -p '123' ssh-copy-id mysql3
ssh-copy-id 192.168.242.66
ssh-copy-id 192.168.242.67
ssh-copy-id 192.168.242.68

##mysql与mysql服务器之间设置免交互认证
yum -i install sshpass
ssh-keygen -t rsa 				#一路按回车键

vim /etc/ssh/ssh_config

##每一个mysql主机配置的不一样
sshpass -p '123' ssh-copy-id mysql1
sshpass -p '123' ssh-copy-id mysql2
sshpass -p '123' ssh-copy-id mysql3

##manager服务器配置

##在 manager 节点上复制相关脚本到/usr/local/bin 目录
cp -rp /opt/mha4mysql-manager-0.57/samples/scripts /usr/local/bin

##拷贝后会有四个执行文件
ll /usr/local/bin/scripts/


master_ip_failover  		#自动切换时 VIP 管理的脚本
master_ip_online_change 	#在线切换时 vip 的管理
power_manager 				#故障发生后关闭主机的脚本
send_report 				#因故障切换后发送报警的脚本


复制上述的自动切换时 VIP 管理的脚本到 /usr/local/bin 目录
这里使用master_ip_failover脚本来管理 VIP 和故障切换

cp /usr/local/bin/scripts/master_ip_failover /usr/local/bin

但在这里不使用原软件的脚本，复制下面脚本到文件中

在vim编辑器中设置为文本格式zhantie

:set paste

#!/usr/bin/env perl
use strict;
use warnings FATAL => 'all';
 
use Getopt::Long;
 
my (
    $command, $orig_master_host, $orig_master_ip,$ssh_user,
    $orig_master_port, $new_master_host, $new_master_ip,$new_master_port,
    $orig_master_ssh_port,$new_master_ssh_port,$new_master_user,$new_master_password
);
 
# 这里定义的虚拟IP配置要注意，这个ip必须要与你自己的集群在同一个网段，否则无效
my $vip = '192.168.242.200/24';
my $key = '1';
# 这里的网卡名称 “ens32” 需要根据你机器的网卡名称进行修改
# 如果多台机器直接的网卡名称不统一，有两种方式，一个是改脚本，二是把网卡名称修改成统一
# 我这边实际情况是修改成统一的网卡名称
my $ssh_start_vip = "sudo /sbin/ifconfig ens32:$key $vip";
my $ssh_stop_vip = "sudo /sbin/ifconfig ens32:$key down";
my $ssh_Bcast_arp= "sudo /sbin/arping -I ens32 -c 3 -A $vip";

GetOptions(
    'command=s'          => \$command,
    'ssh_user=s'         => \$ssh_user,
    'orig_master_host=s' => \$orig_master_host,
    'orig_master_ip=s'   => \$orig_master_ip,
    'orig_master_port=i' => \$orig_master_port,
    'orig_master_ssh_port=i' => \$orig_master_ssh_port,
    'new_master_host=s'  => \$new_master_host,
    'new_master_ip=s'    => \$new_master_ip,
    'new_master_port=i'  => \$new_master_port,
    'new_master_ssh_port' => \$new_master_ssh_port,
    'new_master_user' => \$new_master_user,
    'new_master_password' => \$new_master_password
 
);
 
exit &main();
 
sub main {
    $ssh_user = defined $ssh_user ? $ssh_user : 'root';
    print "\n\nIN SCRIPT TEST====$ssh_user|$ssh_stop_vip==$ssh_user|$ssh_start_vip===\n\n";
 
    if ( $command eq "stop" || $command eq "stopssh" ) {
 
        my $exit_code = 1;
        eval {
            print "Disabling the VIP on old master: $orig_master_host \n";
            &stop_vip();
            $exit_code = 0;
        };
        if ($@) {
            warn "Got Error: $@\n";
            exit $exit_code;
        }
        exit $exit_code;
    }
    elsif ( $command eq "start" ) {
 
        my $exit_code = 10;
        eval {
            print "Enabling the VIP - $vip on the new master - $new_master_host \n";
            &start_vip();
        &start_arp();
            $exit_code = 0;
        };
        if ($@) {
            warn $@;
            exit $exit_code;
        }
        exit $exit_code;
    }
    elsif ( $command eq "status" ) {
        print "Checking the Status of the script.. OK \n";
        exit 0;
    }
    else {
        &usage();
        exit 1;
    }
}
 
sub start_vip() {
    `ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;
}
sub stop_vip() {
    `ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;
}
 
sub start_arp() {
    `ssh $ssh_user\@$new_master_host \" $ssh_Bcast_arp \"`;
}
sub usage {
    print
    "Usage: master_ip_failover --command=start|stop|stopssh|status --ssh_user=user --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";
}

##manager服务器创建目录
cd /opt
mkdir -p /opt/mysql-mha/mha


##所有服务器创建目录
mkdir -p /opt/mysql-mha/mha-node

##创建 MHA 软件目录
##这里使用mysql-mha.cnf配置文件来管理 mysql 节点服务器


##manager服务器
cd /opt/mysql-mha
vim mysql-mha.cnf            ##mha进程配置文件



[server default]
manager_log=/opt/mysql-mha/manager.log
manager_workdir=/opt/mysql-mha/mha
master_binlog_dir=/usr/local/mysql/data
master_ip_failover_script=/usr/local/bin/master_ip_failover
master_ip_online_change_script=/usr/local/bin/master_ip_online_change

user=manager
password=123

ping_interval=1
remote_workdir=/tmp

repl_password=123
repl_user=myslave

secondary_check_script=/usr/local/bin/masterha_secondary_check -s 192.168.242.67 -s 192.168.242.68
shutdown_script=""
ssh_user=root


[server1]
hostname=192.168.242.66
port=3306

[server2]
candidate_master=1
check_repl_delay=0
hostname=192.168.242.67
port=3306

[server3]
hostname=192.168.242.68
port=3306

管理配置文件解释

[server default]
manager_log=/etc/masterha/app1/manager.log　　#manager日志
manager_workdir=/etc/masterha/app1　　　　　  #manager工作目录

master_binlog_dir=/usr/local/mysql/data/　　　#master保存binlog的位置，这里的路径要与master里配置的binlog的路径一致，以便MHA能找到

master_ip_failover_script=/usr/local/bin/master_ip_failover　　#设置自动failover时候的切换脚本，也就是上面的那个脚本

master_ip_online_change_script=/usr/local/bin/master_ip_online_change　　
#设置手动切换时候的切换脚本

user=manager					#设置mysql用户

password=123			
#设置mysql用户的密码，这个密码是前文中创建监控用户的那个密码

ping_interval=1				
#设置监控主库，发送ping包的时间间隔，默认是3秒，尝试三次没有回应的时候自动进行failover

remote_workdir=/tmp			
#设置mha在远程节点上的工作目录（远端mysql在发生切换时binlog的保存位置）

repl_user=myslave			#设置主从复制用户的用户名
repl_password=123			#设置主从复制用户的密码
ssh_user=root				#设置ssh的登录用户名

report_script=/usr/local/send_report　　　　　
#设置发生切换后发送的报警的脚本

secondary_check_script=/usr/local/bin/masterha_secondary_check -s 192.168.242.67 -s 192.168.242.68	
#指定检查的从服务器IP地址

shutdown_script=""			
#设置故障发生后关闭故障主机脚本（该脚本的主要作用是关闭主机防止发生脑裂，这里没有使用）

[server1]
hostname=192.168.80.10
port=3306

[server2]
hostname=192.168.80.11
port=3306
candidate_master=1
#设置为候选master，设置该参数以后，发生主从切换以后将会将此从库提升为主库，即使这个从库不是集群中最新的slave

check_repl_delay=0
#默认情况下如果一个slave落后master 超过100M的relay logs的话，MHA将不会选择该slave作为一个新的master， 因为对于这个slave的恢复需要花费很长时间；通过设置check_repl_delay=0，MHA触发切换在选择一个新的master的时候将会忽略复制延时，这个参数对于设置了candidate_master=1的主机非常有用，因为这个候选主在切换的过程中一定是新的master

[server3]
hostname=192.168.80.12
port=3306

验证MHA服务是否开启

##manager服务器
##第一次配置需要在 主 服务器上手动开启虚拟IP

/sbin/ifconfig ens32:1 192.168.242.200/24

##确保IP地址与脚本中一样

测试连通性

##manager服务器

##ssh连接检查
cd /opt/mysql-mha
masterha_check_ssh -conf=./mysql-mha.cnf
##如果正常最后会输出 successfully

##检查mysql主从复制连接
masterha_check_repl -conf=./mysql-mha.cnf
##出现 MySQL Replication Health is OK 字样说明正常

启动服务

##在 manager 节点上启动 MHA

nohup masterha_manager \
--conf=/opt/mysql-mha/mysql-mha.cnf \
--remove_dead_master_conf \
--ignore_last_failover < /dev/null > /var/log/manager.log 2>&1 &

启动命令解释

--remove_dead_master_conf：
该参数代表当发生主从切换后，老的主库的 ip 将会从配置文件中移除。

--ignore_last_failover：
在缺省情况下，如果 MHA 检测到连续发生宕机，且两次宕机间隔不足 8 小时的话，则不会进行 Failover， 之所以这样限制是为了避免 ping-pong 效应。该参数代表忽略上次 MHA 触发切换产生的文件，默认情况下，MHA 发生切换后会在 app1.failover.complete 日志文件中记录，下次再次切换的时候如果发现该目录下存在该文件将不允许触发切换， 除非在第一次切换后删除该文件，为了方便，这里设置为--ignore_last_failover。
----------------------------------------------------------------------------------------------------------
●使用&后台运行程序：结果会输出到终端；使用Ctrl+C发送SIGINT信号，程序免疫；关闭session发送SIGHUP信号，程序关闭。
●使用nohup运行程序：结果默认会输出到nohup.out；使用Ctrl+C发送SIGINT信号，程序关闭；关闭session发送SIGHUP信号，程序免疫。
●使用nohup和&配合来启动程序nohup ./test &：同时免疫SIGINT和SIGHUP信号。

##查看 MHA 状态，可以看到当前的 master 是 mysql1 节点。

masterha_check_status --conf=/opt/mysql-mha/mysql-mha.cnf

##查看 MHA 日志，也以看到当前的 master 是 192.168.242.66，如下所示。
cat /opt/mysql-mha/manager.log | grep "current master"

##查看 mysql1 的 VIP 地址 192.168.242.200 是否存在，这个 VIP 地址不会因为 manager 节点停止 MHA 服务而消失。
ifconfig

##若要关闭 manager 服务，可以使用如下命令。

masterha_stop --conf=/opt/mysql-mha/mysql-mha.cnf

或者可以直接采用 kill 进程 ID 的方式关闭。

故障模拟

##在manager 节点上监控观察日志记录

tail -f /opt/mysql-mha/manager.log

##mysql1 上停止mysql服务
systemctl stop mysqld

正常自动切换一次后，MHA 进程会退出。MHA会自动修改 mysql-mha.cnf 文件内容，将宕机的 mysql1 节点删除。

故障切换备选主库的算法：
1. 一般判断从库的是从（position/GTID）判断优劣，数据有差异，最接近于master的slave，成为备选主。
2. 数据一致的情况下，按照配置文件顺序，选择备选主库。
3. 设定有权重（candidate_master=1），按照权重强制指定备选主。
  - 默认情况下如果一个slave落后master 100M的relay logs的话，即使有权重，也会失效。
  - 如果check_repl_delay=0的话，即使落后很多日志，也强制选择其为备选主。

恢复故障

##修复mysql
systemctl restart mysqld

##修复主从
##在现主库服务器 mysql2 查看二进制文件和同步点
show master status;

#在原主库服务器 mysql1 执行同步操作
change master to master_host='192.168.242.67',master_user='myslave',master_password='123',master_log_file='mysql-bin.000001',master_log_pos=1575;

start slave;

##在 manager 节点上修改配置文件mysql-mha.cnf（再把这个记录添加进去，因为它检测掉失效时候会自动消失）

vim /opt/mysql-mha/mysql-mha.cnf

##在 manager 节点上启动 MHA

nohup masterha_manager \
--conf=/opt/mysql-mha/mysql-mha.cnf \
--remove_dead_master_conf \
--ignore_last_failover < /dev/null > /var/log/mha_manager.log 2>&1 &

过程

MHA部署过程:
- 所有mysq1都做主从复制用户授权，和mha-manager 访问数据库用户的授权
- 做时间同步和mysq1主从复制，并设置从为只读模式
- 所有节点安装mha-node 组件，在manager节点再安装mha-manager 组件
- 所有节点做ssh密钥对免交互登录认证
- 在mha-manager. 节点上准备好故障切换脚本和manager 进程配置文件
- 在master 节点使用ifconfig 创建VIP
- 使用masterha check_ ssh和masterha_ check repl做好mha启动前的检查，再使用masterha_ manager 启动mha-manager 进程
- 做故障切换测试

故障切换后mha-manager进程会自动退出，配置文件自动删除Imaster的配置，VIP会自动漂移到新master节点，其它slave会自动跟新master做主从复制