MHA高可用配置及故障切换

1.什么是MHA
2.MHA组成
3.MHA特点
4.案例实施：搭建MySQL MHA高可用及故障切换
- 4.1 主节点数据库（CentOS 7-5）
- 4.2 从节点数据库（CentOS 7-6）
- 4.3 从节点数据库（CentOS 7-7）
- 4.4 MHA服务器（CentOS 7-8）
- 4.5 模拟故障及恢复
- 4.6 MHA部署过程总结

1.什么是MHA

MHA（MasterHigh Availability）是一套优秀的MySQL高可用环境下故障切换和主从复制的软件。
MHA的出现就是解决MySQL 单点的问题。
MySQL故障切换过程中，MHA能做到0-30秒内自动完成故障切换操作。
MHA能在故障切换的过程中最大程度上保证数据的一致性，以达到真正意义上的高可用。

在这里插入图片描述

2.MHA组成

MHA Node（数据节点）

MHA Node运行在每台MySQL服务器上。

MHA Manager（管理节点）

MHA Manager可以单独部署在一台独立的机器上，管理多个master-slave集群；也可以部署在一台slave节点上。
MHA Manager会定时探测集群中的master节点。当master出现故障时，它可以自动将最新数据的slave提升为新的master，然后将所有其他的slave重新指向新的master。整个故障转移过程对应用程序完全透明。
在这里插入图片描述

3.MHA特点

自动故障切换过程中，MHA试图从宕机的主服务器上保存二进制日志，最大程度的保证数据不丢失
使用半同步复制，可以大大降低数据丢失的风险，如果只有一个slave已经收到了最新的二进制日志，MHA可以将最新的二进制日志应用于其他所有的slave服务器上，因此可以保证所有节点的数据一致性
目前MHA支持一主多从架构，最少三台服务，即一主两从

在这里插入图片描述

4.案例实施：搭建MySQL MHA高可用及故障切换

实验思路：

MHA架构

（1）数据库安装
（2）一主两从
（3）MHA搭建

故障模拟

（1）主库失效
（2）备选主库成为主库
（3）原故障主库恢复重新加入到MHA成为从库
在这里插入图片描述

4.1 主节点数据库（CentOS 7-5）

###关闭和禁止防火墙开机自启功能
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
vim /etc/selinux/config
SELINUX=disabled

（1）设置主从数据库时间同步

vim /etc/ntp.conf
restrict default nomodify
server ntp.aliyun.com

ntpdate ntp.aliyun.com  #查看aliyun时间同步服务器
systemctl restart ntpd   #重启ntp时间服务
ntpq -p

在这里插入图片描述

（2）修改主机名

hostnamectl set-hostname mysql1

（3）修改/etc/my.cnf文件，开启二进制日志和中继日志

vim /etc/my.cnf
server-id = 1 
log-bin=mysql-bin
binlog_format=mixed
relay-log=relay-log-bin    
relay-log-index=relay-log-bin.index
log-slave-updates = 1   

systemctl restart mysqld

在这里插入图片描述
（4）创建mysql和mysqlbinlog的软链接

ln -s /usr/local/mysql/bin/mysql /usr/sbin/
ln -s /usr/local/mysql/bin/mysqlbinlog /usr/sbin/

（5）创建并授权数据库主从复制和MHA用户

mysql -uroot -p123
grant replication slave on *.* to 'myslave'@'192.168.80.%' identified by '123';
grant all privileges on *.* to 'myhua'@'192.168.80.%' identified by '123';
grant all privileges on *.* to 'myhua'@'mysql1' identified by '123';
grant all privileges on *.* to 'myhua'@'mysql2' identified by '123';
grant all privileges on *.* to 'myhua'@'mysql3' identified by '123';
flush privileges;
show master status;

在这里插入图片描述

在这里插入图片描述
（6）验证数据库主从复制

###主库中创建数据表gzy.clr，并插入数据记录
create database gzy;
use gzy;
create table clr (id int,name varchar(20),age int,hobby varchar(50));
insert into clr values(1,'小张',49,'打球');
insert into clr values(2,'小红',34,'学习');

###分别在主库和从库中执行select命令
select * from clr;

在这里插入图片描述
（7）安装MHA依赖的环境，首先安装epel源

cd /etc/yum.repos.d
mv repo.bak/* ./
yum install epel-release --nogpgcheck -y
yum install -y perl-DBD-MySQL \
perl-Config-Tiny \
perl-Log-Dispatch \
perl-Parallel-ForkManager \
perl-ExtUtils-CBuilder \
perl-ExtUtils-MakeMaker \
perl-CPAN

在这里插入图片描述
（8）安装node组件

cd /opt
rz -E
#mha4mysql-node-0.57.tar.gz
tar xf mha4mysql-node-0.57.tar.gz
cd mha4mysql-node-0.57/
perl Makefile.PL
make && make install

在这里插入图片描述
（9）配置无密码认证

vim /etc/hosts
192.168.80.50 mysql1
192.168.80.60 mysql2
192.168.80.70 mysql3

###创建无密码登录配置
ssh-keygen -t rsa
vim /etc/ssh/ssh_config
StrictHostKeyChecking no    #修改第35行的密码验证参数
yum install -y sshpass

sshpass -p '123' ssh-copy-id mysql2
sshpass -p '123' ssh-copy-id mysql3

在这里插入图片描述

（10）添加虚拟网卡并设置VIP地址

 /sbin/ifconfig ens33:1 192.168.80.188/24
 ifconfig

4.2 从节点数据库（CentOS 7-6）

###关闭和禁止防火墙开机自启功能
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
vim /etc/selinux/config
SELINUX=disabled

（1）设置计划性任务，使从服务器与主服务器保持时间同步

ntpdate 192.168.80.50    #连接主服务器的IP地址
crontab -e   #在从服务器上执行计划性任务，每30分钟向主服务器进行一次时间同步
*/30 * * * * /usr/sbin/ntpdate 192.168.80.50

systemctl restart crond   #重启计划性服务
crontab -l   #查看计划性任务

在这里插入图片描述

（2）修改主机名

hostnamectl set-hostname mysql2

（3）修改/etc/my.cnf文件，开启二进制日志和中继日志

vim /etc/my.cnf
server-id = 2     #另一个从库此处id号需要更改为3，其他地方不变
log-bin=mysql-bin
binlog_format=mixed
relay-log=relay-log-bin    
relay-log-index=relay-log-bin.index
log-slave-updates = 1   

systemctl restart mysqld

在这里插入图片描述
（4）创建mysql和mysqlbinlog的软链接

ln -s /usr/local/mysql/bin/mysql /usr/sbin/
ln -s /usr/local/mysql/bin/mysqlbinlog /usr/sbin/

（5）创建并授权数据库主从复制和MHA用户

mysql -uroot -p123
grant replication slave on *.* to 'myslave'@'192.168.80.%' identified by '123';
grant all privileges on *.* to 'myhua'@'192.168.80.%' identified by '123';
grant all privileges on *.* to 'myhua'@'mysql1' identified by '123';
grant all privileges on *.* to 'myhua'@'mysql2' identified by '123';
grant all privileges on *.* to 'myhua'@'mysql3' identified by '123';
flush privileges;

在这里插入图片描述
（6）设置从库连接复制主库的二进制日志数据

mysql -uroot -p123
change master to master_host='192.168.80.50',master_user='myslave',master_password='123',master_log_file='mysql-bin.000001',master_log_pos=1753;
start slave;
show slave status \G

在这里插入图片描述
（7）设置从库为只读模式

set global read_only=1;

（8）安装MHA依赖的环境、epel源

cd /etc/yum.repos.d
mv repo.bak/* ./
yum install epel-release --nogpgcheck -y
yum install -y perl-DBD-MySQL \
perl-Config-Tiny \
perl-Log-Dispatch \
perl-Parallel-ForkManager \
perl-ExtUtils-CBuilder \
perl-ExtUtils-MakeMaker \
perl-CPAN

在这里插入图片描述
（9）安装node组件

cd /opt
rz -E
#mha4mysql-node-0.57.tar.gz
tar xf mha4mysql-node-0.57.tar.gz
cd mha4mysql-node-0.57/
perl Makefile.PL
make && make install

在这里插入图片描述
（10）配置无密码认证

vim /etc/hosts
192.168.80.50 mysql1
192.168.80.60 mysql2
192.168.80.70 mysql3

###创建无密码登录配置
ssh-keygen -t rsa
vim /etc/ssh/ssh_config
StrictHostKeyChecking no    #修改第35行的密码验证参数
yum install -y sshpass

sshpass -p '123' ssh-copy-id mysql1
sshpass -p '123' ssh-copy-id mysql3  #在另一个从库上执行该句命令，需要修改为mysql2

在这里插入图片描述

4.3 从节点数据库（CentOS 7-7）

该从节点数据库中的配置操作，与另一节点数据库完全相同，唯一不同的地方，已经在另一从数据库CentOS 7-6中重点标出，其余操作步骤完全相同！！！

4.4 MHA服务器（CentOS 7-8）

###关闭和禁止防火墙开机自启功能
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
vim /etc/selinux/config
SELINUX=disabled

（1）安装MHA依赖的环境、安装epel源

cd /etc/yum.repos.d
mv repo.bak/* ./
yum install epel-release --nogpgcheck -y
yum install -y perl-DBD-MySQL \
perl-Config-Tiny \
perl-Log-Dispatch \
perl-Parallel-ForkManager \
perl-ExtUtils-CBuilder \
perl-ExtUtils-MakeMaker \
perl-CPAN

在这里插入图片描述
（2）在MHA manager节点上安装node组件和manager组件
安装node组件；

cd /opt
rz -E
#mha4mysql-node-0.57.tar.gz
tar xf mha4mysql-node-0.57.tar.gz
cd mha4mysql-node-0.57/
perl Makefile.PL
make && make install

在这里插入图片描述
安装manager组件；

cd /opt
rz -E
#mha4mysql-manager-0.57.tar.gz
tar zxvf mha4mysql-manager-0.57.tar.gz
cd mha4mysql-manager-0.57
perl Makefile.PL
make && make install

在这里插入图片描述
（3）配置无密码认证

vim /etc/hosts
192.168.80.50 mysql1
192.168.80.60 mysql2
192.168.80.70 mysql3

###创建无密码登录配置
ssh-keygen -t rsa
vim /etc/ssh/ssh_config
StrictHostKeyChecking no    #修改第35行的密码验证参数
yum install -y sshpass

sshpass -p '123' ssh-copy-id mysql1
sshpass -p '123' ssh-copy-id mysql2
sshpass -p '123' ssh-copy-id mysql3

在这里插入图片描述

（4）复制scripts脚本到/usr/local/bin目录

cd /opt/mha4mysql-manager-0.57/samples
cp -a scripts/ /usr/local/bin/
cd /usr/local/bin
rz -E
#master_ip_failover

vim master_ip_failover 
###修改14行的IP地址
#!/usr/bin/env perl
use strict;
use warnings FATAL => 'all';

use Getopt::Long;

my (
    $command, $orig_master_host, $orig_master_ip,$ssh_user,
    $orig_master_port, $new_master_host, $new_master_ip,$new_master_port,
    $orig_master_ssh_port,$new_master_ssh_port,$new_master_user,$new_master_password
);

# 这里定义的虚拟IP配置要注意，这个ip必须要与你自己的集群在同一个网段，否则无效
my $vip = '192.168.80.188/24';
my $key = '1';
# 这里的网卡名称 “ens33” 需要根据你机器的网卡名称进行修改
# 如果多台机器直接的网卡名称不统一，有两种方式，一个是改脚本，二是把网卡名称修改成统一
# 我这边实际情况是修改成统一的网卡名称
my $ssh_start_vip = "sudo /sbin/ifconfig ens33:$key $vip";
my $ssh_stop_vip = "sudo /sbin/ifconfig ens33:$key down";
my $ssh_Bcast_arp= "sudo /sbin/arping -I ens33 -c 3 -A $vip";

GetOptions(
    'command=s'          => \$command,
    'ssh_user=s'         => \$ssh_user,
    'orig_master_host=s' => \$orig_master_host,
    'orig_master_ip=s'   => \$orig_master_ip,
    'orig_master_port=i' => \$orig_master_port,
    'orig_master_ssh_port=i' => \$orig_master_ssh_port,
    'new_master_host=s'  => \$new_master_host,
    'new_master_ip=s'    => \$new_master_ip,
    'new_master_port=i'  => \$new_master_port,
    'new_master_ssh_port' => \$new_master_ssh_port,
    'new_master_user' => \$new_master_user,
    'new_master_password' => \$new_master_password

);

exit &main();

sub main {
    $ssh_user = defined $ssh_user ? $ssh_user : 'root';
    print "\n\nIN SCRIPT TEST====$ssh_user|$ssh_stop_vip==$ssh_user|$ssh_start_vip===\n\n";

    if ( $command eq "stop" || $command eq "stopssh" ) {

        my $exit_code = 1;
        eval {
            print "Disabling the VIP on old master: $orig_master_host \n";
            &stop_vip();
            $exit_code = 0;
        };
        if ($@) {
            warn "Got Error: $@\n";
            exit $exit_code;
        }
        exit $exit_code;
    }
    elsif ( $command eq "start" ) {
        eval {
            print "Enabling the VIP - $vip on the new master - $new_master_host \n";
            &start_vip();
        &start_arp();
            $exit_code = 0;
            &start_vip();
        &start_arp();
            $exit_code = 0;
        };
        if ($@) {
            warn $@;
            exit $exit_code;
        }
        exit $exit_code;
    }
    elsif ( $command eq "status" ) {
        print "Checking the Status of the script.. OK \n";
        exit 0;
    }
    else {
        &usage();
        exit 1;
    }
}

sub start_vip() {
    `ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;
}
sub stop_vip() {
    `ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;
}

sub start_arp() {
    `ssh $ssh_user\@$new_master_host \" $ssh_Bcast_arp \"`;
}
sub usage {
    print
    "Usage: master_ip_failover --command=start|stop|stopssh|status --ssh_user=user --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";
}

chmod 777 /usr/local/bin/master_ip_failover

在这里插入图片描述
补充知识点：

#解决中英字不兼容报错的问题
dos2unix /usr/local/bin/master_ip_failover

（5）编写/opt/mysql-mha/mysql_mha.cnf配置文件管理mysql节点服务器

mkdir -p /opt/mysql-mha/mha  /opt/mysql-mha/mha-node
vim /opt/mysql-mha/mysql_mha.cnf
###手动添加下面数据内容
[server default]
manager_log=/opt/mysql-mha/manager.log
manager_workdir=/opt/mysql-mha/mha
master_binlog_dir=/usr/local/mysql/data
master_ip_failover_script=/usr/local/bin/master_ip_failover
master_ip_online_change_script=/usr/local/bin/master_ip_online_change
user=myhua     #修改此处的允许MHA用户访问的用户名
password=123
port=3306
ping_interval=1
remote_workdir=/opt/mysql-mha/mha-node
repl_user=myslave   #修改此处连接从库的用户名
repl_password=123
secondary_check_script=/usr/local/bin/masterha_secondary_check -s 192.168.80.60 -s 192.168.80.70
shutdown_script=""
ssh_user=root

[server1]
hostname=192.168.80.50  #修改主库IP地址
port=3306

[server2]
candidate_master=1
check_repl_delay=0
hostname=192.168.80.60  #修改备选主库IP地址
port=3306

[server3]
hostname=192.168.80.70   #修改从库IP地址
port=3306

在这里插入图片描述

（6）测试ssh无密码认证连接情况

masterha_check_ssh -conf=/opt/mysql-mha/mysql_mha.cnf  #测试ssh无密码验证访问情况
#Tue Jun 27 17:12:23 2023 - [debug]   ok.
#Tue Jun 27 17:12:24 2023 - [info] All SSH connection tests passed successfully.

在这里插入图片描述
（7）测试主从连接情况

masterha_check_repl -conf=/opt/mysql-mha/mysql_mha.cnf  
#MySQL Replication Health is OK.

在这里插入图片描述

（8）启动MHA

nohup masterha_manager \
--conf=/opt/mysql-mha/mysql_mha.cnf \
--remove_dead_master_conf \
--ignore_last_failover < /dev/null > /var/log/mha_manager.log 2>&1 &

在这里插入图片描述
查看MHA状态和日志

###查看MHA状态，可以看到当前的master是 mysql1节点
masterha_check_status --conf=/opt/mysql-mha/mysql_mha.cnf

###查看MHA日志，也以看到当前的master是 192.168.80.50
cat /opt/mysql-mha/manager.log | grep "current master"

在这里插入图片描述

（9）关闭MHA的manager服务

masterha_stop --conf=/opt/mysql-mha/mysql_mha.cnf

###再次开启manager服务
nohup masterha_manager \
--conf=/opt/mysql-mha/mysql_mha.cnf \
--remove_dead_master_conf \
--ignore_last_failover < /dev/null > /var/log/mha_manager.log 2>&1 &

masterha_check_status --conf=/opt/mysql-mha/mysql_mha.cnf
cat /opt/mysql-mha/manager.log | grep "current master"

在这里插入图片描述

4.5 模拟故障及恢复

在manager节点上监控观察日志记录

tail -f /opt/mysql-mha/manager.log

在Master节点mysql1上停止mysql服务

systemctl stop mysqld

跟踪manager日志记录，查看VIP的漂移情况
在这里插入图片描述
在另一从库中查看主从复制情况

备选主库中查看虚拟网卡的VIP地址

查看配置文件中原先的主库mysql1的信息被删除

故障修复步骤如下所示：
（1）修复原先的mysql数据库（CentOS 7-5）

systemctl restart mysqld

(2) 修复故障，重新进行主从复制

#在现主库服务器mysql2查看二进制文件和同步点（CentOS 7-6）
show master status;

在这里插入图片描述

#在原主库服务器mysql1上，重新执行主从复制同步操作（CentOS 7-5）
mysql -uroot -p123
change master to master_host='192.168.80.60',master_user='myslave',master_password='123',master_log_file='m'mysql-bin.000002',master_log_pos=2696;

start slave;

在这里插入图片描述

（3）在manager节点上修改配置文件mysql_mha.cnf（再把这个记录添加进去，因为它检测掉失效时候会自动消失）

vim /opt/mysql-mha/mysql_mha.cnf
###G该配置文件中需要修改以下内容

secondary_check_script=/usr/local/bin/masterha_secondary_check -s 192.168.80.50 -s 192.168.80.70

[server2]
hostname=192.168.80.60
port=3306

[server1]
candidate_master=1
check_repl_delay=0
hostname=192.168.80.50
port=3306

[server3]
hostname=192.168.80.70
port=3306

（4）在manager节点上启动MHA

nohup masterha_manager \
--conf=/opt/mysql-mha/mysql_mha.cnf \
--remove_dead_master_conf \
--ignore_last_failover < /dev/null > /var/log/mha_manager.log 2>&1 &

###关闭原先的备选数据库mysql2（CentOS 7-6）
systemctl stop mysqld

（5）验证mysql1是否恢复为VIP主数据库

跟踪manager日志记录，查看VIP的漂移情况
在这里插入图片描述

在另一从库中查看主从复制情况
在这里插入图片描述

主库中查看虚拟网卡的VIP地址(CentOS 7-5)
在这里插入图片描述

查看配置文件中原先的主库mysql2的信息被删除
在这里插入图片描述

4.6 MHA部署过程总结

（1）所有mysql都做主从复制用户授权，和mha-manager访问数据库用户的授权
（2）先做时间同步和mysql主从复制，并将从库设置从为只读模式
（3）所有节点安装mha-node组件，在manager节点再安装mha-manager组件
（4）所有节点做ssh密钥对免交互登录认证
（5）在mha-manager节点上准备好故障切换脚本和manager进程配置文件
（6）在master节点使用ifconfig创建VIP
（7）使用masterha_check_ssh和masterha_check_repl做好mha启动前的检查，再使用 masterha_manager启动mha-manager进程
（8）做故障切换测试
故障切换后mha-manager进程会自动退出，配置文件自动删除旧master的配置，VIP会自动漂移到新master节点，其它slave会自动跟新master做主从复制