文章目录

一、基本了解
二、配置文件参数释义
- 2.1 默认配置文件
- 2.2 定制配置文件
- - 2.2.1 vrrp_instance段配置参数
  - 2.2.2 vrrp_script段配置参数
  - 2.2.3 real_server段配置参数
  - 2.2.4 tcp_check段配置参数
三、keepalived对apache高可用
- 3.1 环境说明
- 3.2 安装服务
- 3.3 配置主服务器
- 3.4 配置备服务器
- 3.5 手动验证
- 3.6 设置不抢占master
- 3.7 设置脚本自动检测

一、基本了解

什么是keepalived？

Keepalived 软件起初是为了管理监控LVS集群系统中的各个服务节点状态而设计的，后来又加入了可以实现高可用的VRRP功能。
通过VRRP协议实现高可用功能，可以解决静态路由单点故障问题，保证服务个别节点宕机时，整个网络可以不间断地运行，以此保证业务的正常工作。常用高可用服务nginx、haproxy、mysql、rabbitmq等。
官网

keepalived核心功能：

管理LVS负载均衡软件。
实现LVS集群节点的健康检查。
作为系统网络服务的高可用性（failover）

keepalived高可用故障转移原理：

通过 VRRP (Virtual Router Redundancy Protocol ，虚拟路由器冗余协议）来实现。
在 Keepalived 服务正常工作时，主节点会不断地以多播方式向备节点发送心跳消息，告诉备节点自己还活看。
当主节点发生故障时，就无法发送心跳消息，备节点就无法继续检测到来自主节点的心跳了，于是调用自身的接管程序，接管主节点的 IP 资源及服务。
当主节点恢复时，备节点又会释放主节点故障时自身接管的IP资源及服务，恢复到原来的备用角色。

VRRP协议：

VRRP，全称 Virtual Router Redundancy Protocol ，为虚拟路由冗余协议。VRRP的出现是为了解决静态踣甶的单点故障问题，是通过一种竞选机制来将路由的任务交给某台VRRP路由器。
采用用IP多播的方式（默认多播地址（224.0_0.18))实现高可用对之间通信。
工作时主节点发包，备节点接包，当备节点接收不到主节点发的数据包时，就启动接管程序接管主节点的资源。备节点可以有多个，通过优先级竞选，但一般 Keepalived系统运维工作中都是一对。
VRRP使用了加密协议加密数据，但Keepalived官方目前还是推荐用明文的方式配置认证类型和密码。

工作原理：

Keepalived高可用是通过 VRRP 进行通信， VRRP通过竞选机制来确定主备，主的优先级高于备，所以工作时主会优先获得所有的资源，备节点处于等待状态。当主挂了的时候，备节点就会接管主节点的资源，然后顶替主节点对外提供服务。
在 Keepalived 服务之间，只有作为主的服务器会一直发送 VRRP 广播包，告诉备它还活着，此时备不会枪占主，当主不可用时，此时备监听不到主发送的广播包，就会启动相关服务接管资源，保证业务的连续性，接管速度最快可以小于1秒。

keepalived高可用架构图：

二、配置文件参数释义

2.1 默认配置文件

keepalived主配置文件是 /etc/keepalived/keepalived.conf。

[root@master ~]# cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived

########################################################################
//全局配置
global_defs {       
   notification_email {     //定义报警收件人邮件地址。
     acassen@firewall.loc
     failover@firewall.loc
     sysadmin@firewall.loc
   }
   notification_email_from Alexandre.Cassen@firewall.loc    //定义报警发件人邮箱
   smtp_server 192.168.200.1    //邮箱服务器地址
   smtp_connect_timeout 30      //定义邮箱超时时间
   router_id LVS_DEVEL          //定义路由标识信息，同局域网内唯一
   vrrp_skip_check_adv_addr
   vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}

########################################################################
//定义实例
vrrp_instance VI_1 {        //实例名，可以定义多个。当有多个实例时，虚拟路由id必须不一样。
    state MASTER            //指定keepalived节点的初始状态，可选值为MASTER|BACKUP
    interface eth0          //VRRP实例绑定的网卡接口，根据实际情况写。
    virtual_router_id 51    //自定义虚拟路由ID，同一集群要一致，不同集群必须不同值。
    priority 100            //定义优先级，按优先级来决定主备角色，值越大则越优先。
    nopreempt               //设置不抢占，当主节点宕机恢复后，不会再默认的去抢占master了
    advert_int 1            //主给备发送心跳包的间隔时间
    authentication {        //配置认证
        auth_type PASS      //认证方式，此处为密码
        auth_pass 1111      //同一集群中的keepalived配置里的此处必须一致，推荐使用8位随机数
    }
    virtual_ipaddress {     //配置要使用的VIP地址，当有多个网卡时可以指定网卡名称。
        192.168.50.200
    }
}
########################################################################
//配置虚拟服务器
virtual_server 192.168.50.200  80 {     //VIP+后端服务监听端口。
    delay_loop 6        //健康检查的时间间隔
    lb_algo rr          //lvs调度算法
    lb_kind NAT         //lvs模式，NAT模式可转发端口
    persistence_timeout 50      //数据落盘持久化超时时间，单位是秒
    protocol TCP        //4层协议

    sorry_server 192.168.50.200  80   //定义备用服务器，当所有RS都故障时用sorry_server来响应客户端

    real_server 192.168.50.158  80 {    //定义第一个后端服务器信息。
        weight 1    //给服务器指定权重，默认为1
        HTTP_GET {
            url {
              path /testurl/test.jsp    //指定要检查的URL路径
              digest 640205b7b0fc66c1ea91c463fac6334d   //摘要信息
            }
            url {
              path /testurl2/test.jsp
              digest 640205b7b0fc66c1ea91c463fac6334d
            }
            url {
              path /testurl3/test.jsp
              digest 640205b7b0fc66c1ea91c463fac6334d
            }
            connect_timeout 3       //连接超时时间
            nb_get_retry 3          //get尝试次数
            delay_before_retry 3    //在尝试之前延迟多长时间
        }
    }

    real_server 192.168.50.159  80 {    //定义第二个后端服务器信息。
        weight 1
        HTTP_GET {
            url {
              path /testurl/test.jsp
              digest 640205b7b0fc66c1ea91c463fac6334c
            }
            url {
              path /testurl2/test.jsp
              digest 640205b7b0fc66c1ea91c463fac6334c
            }
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}

2.2 定制配置文件

上面默认的主配置文件都是默认字段，也可以根据实际情况添加相关参数，这就是定制主配置文件。

2.2.1 vrrp_instance段配置参数

参数	释义	备注
nopreempt	设置不抢占。默认是抢占的，当高优先级的机器恢复后，会抢占优先级低的机器成为MASTER。而不抢占，即使优先级高的机器已经上线，也仍然允许低优先级的机器继续成为MASTER。如果要使用这个功能，则初始化状态必须为BACKUP。	一般有多个backup主机时，设置在backup上。
preempt_delay	设置抢占延迟。单位是秒，范围是0~1000，默认是0。发现低优先级的MASTER后多少秒开始抢占。	不常用

2.2.2 vrrp_script段配置参数

作用是添加一个周期性执行的脚本，不需要再人工的停止keepalived服务。脚本的退出状态码会被调用它的所有的VRRP Instance记录。
注意，至少有一个VRRP实例调用它并且优先级不能为0。优先级范围是1-254.

//添加以下格式，并在括号内自定义需要的参数。
vrrp_script <SCRIPT_NAME> {
          ...
    }

选项	释义	备注
script “/path/to/somewhere”	指定脚本路径。
interval < INTEGER >	指定脚本执行的间隔。单位是秒。默认为1s。
timeout < INTEGER >	指定在多少秒后，脚本被认为执行失败。
weight <-254 ~ 254>	调整优先级。默认为2。	1. 若脚本执行成功(退出状态码为0)，weight大于0，则priority增加。 2. 若脚本执行失败(退出状态码为非0)，weight小于0，则priority减少。 3. 其他情况下，priority不变。
rise < INTEGER >	执行成功多少次才认为是成功。
fall < INTEGER >	执行失败多少次才认为失败。
user < USERNAME > [GROUPNAME]	运行脚本的用户和组。
init_fail	假设脚本初始状态是失败状态。

2.2.3 real_server段配置参数

选项	释义
weight < INT >	给服务器指定权重。默认是1
inhibit_on_failure	当服务器健康检查失败时，将其weight设置为0，而不是从Virtual Server中移除
notify_up < STRING >	当服务器健康检查成功时，执行的脚本
notify_down < STRING >	当服务器健康检查失败时，执行的脚本
uthreshold < INT >	到这台服务器的最大连接数
lthreshold < INT >	到这台服务器的最小连接数

2.2.4 tcp_check段配置参数

选项	释义
connect_ip < IP ADDRESS>	连接的IP地址。默认是real server的ip地址
connect_port < PORT >	连接的端口。默认是real server的端口
bindto < IP ADDRESS>	发起连接的接口的地址。
bind_port < PORT >	发起连接的源端口。
connect_timeout < INT >	连接超时时间。默认是5s。
fwmark < INTEGER >	使用fwmark对所有出去的检查数据包进行标记。
warmup < INT >	指定一个随机延迟，最大为N秒。可防止网络阻塞。如果为0，则关闭该功能。
retry < INIT >	重试次数。默认是1次。
delay_before_retry < INT >	默认是1秒。在重试之前延迟多少秒。

三、keepalived对apache高可用

手动验证：主上的服务必须是运行状态，备上的服务必须是停止状态，否则无法通过VIP访问到数据包。

3.1 环境说明

主机名	IP	安装服务
master	192.168.161.131	keepalived、apache
backup	192.168.161.132	keepalived、apache

3.2 安装服务

1.安装apache，参考文章。
在这里插入图片描述
2.安装keepalived服务，两台机器都安装。

yum -y install keepalived

3.3 配置主服务器

1.先备份文件。

cp /etc/keepalived/keepalived.conf{,-bak}

2.修改主配置文件。

cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
   router_id lb01   //主备不能一样。
}

vrrp_instance VI_1 {
    state MASTER     //主备不能一样
    interface ens33     //根据实际情况修改网卡。
    virtual_router_id 51     //主备必须一样。
    priority 100         //主>备
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass qingjun   //主备必须一样。
    }
    virtual_ipaddress {
        192.168.161.200    //自定义VIP
    }
}

virtual_server 192.168.161.200 80 {    //DR模式不能转端口。
    delay_loop 6
    lb_algo rr
    lb_kind DR
    persistence_timeout 50
    protocol TCP

    real_server 192.168.161.131 80 {    //后端服务器1访问IP:PORT
        weight 1
        TCP_CHECK {
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }

    real_server 192.168.161.132 80 {   //后端服务器2访问IP:PORT
        weight 1
        TCP_CHECK {
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}

3.启动服务。

systemctl enable --now keepalived

3.4 配置备服务器

1.先备份文件。

cp /etc/keepalived/keepalived.conf{,-bak}

2.修改主配置文件。

cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
   router_id lb02    //主备不能一样。
}

vrrp_instance VI_1 {
    state BACKUP     //主备不能一样。
    interface ens33     //根据实际情况修改网卡名称。
    virtual_router_id 51    //主备必须一样。
    priority 99       //备<主
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass qingjun    //主备必须一样。
    }
    virtual_ipaddress {
        192.168.161.200    //自定义VIP
    }
}

virtual_server 192.168.161.200 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    persistence_timeout 50
    protocol TCP

    real_server 192.168.161.131 80 {     //后端服务器1访问IP:PORT
        weight 1
        TCP_CHECK {
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }

    real_server 192.168.161.132 80 {    //后端服务器2访问IP:PORT
        weight 1
        TCP_CHECK {
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}

3.启动服务。

systemctl enable --now keepalived

3.5 手动验证

1.当主备程序同时运行时，VIP无法访问。
在这里插入图片描述
2.停止备程序，运行主程序，VIP访问主。

3.停止主keepalived服务，VIP流向备；停止主程序，VIP才能访问到备。

4.主恢复，VIP默认回到主机。（因为keepalived默认就是主机恢复抢占master。）

3.6 设置不抢占master

上面验证了，当master挂掉恢复后，会把VIP抢回来。
当master挂掉后恢复后不会抢占VIP，备机宕机后才会把VIP抢回来，设置参数nopreempt。

1.修改master配置文件，此时VIP在主机上。

//主配置文件添加这个参数，重启keepalived服务。
vim /etc/keepalived/keepalived.conf
nopreempt

vim /etc/keepalived/keepalived.conf
2.主keepalived停掉后，VIP流向备机。
在这里插入图片描述
3.主keepalived服务恢复，VIP仍然在备机上。

4.备keepalived服务停掉后，VIP才会回到主。

3.7 设置脚本自动检测

上面我们通过手动停止服务来演示了keepalived的功能：主备上的程序不能同时运行，否则VIP不知道访问谁，所以需要停掉一方的keepalived服务，VIP才能顺利流向另一侧。
在项目中我们需要设置脚本自动检测程序。当主keepalived正常时，需要停止备上的程序；当主keepalived服务异常时，VIP会跑到备，此时需要停止主的程序。

1.关闭主备的抢占模式，去掉上卖弄那个参数。关闭主备的apache服务。

2.主上设置2个脚本。

//创建脚本存放目录。
mkdir /scripts

//第一个脚本。检查主上的httpd服务是否在运行，若没有运行则停止keepalived，让VIP流向备。
cat > /scripts/check_httpd.sh << 'EOF'
#!/bin/bash
httpd_status=$(ps -ef|grep -Ev "grep|$0"|grep '\bhttpd\b'|wc -l)
if [ $httpd_status -lt 1 ];then
     systemctl stop keepalived
fi
EOF
chmod +x /scripts/check_httpd.sh 


//第二个脚本。当检测本机为master时，若服务没起来会启动服务；若为backup时，若服务在运行则停止服务。
cat > /scripts/notify.sh << 'EOF'
#!/bin/bash
VIP=$2
sendmail (){
        subject="${VIP}'s server keepalived state is translate"
        content="`date +'%F %T'`: `hostname`'s state change to master"
        echo $content | mail -s "$subject" 1470044516@qq.com
}

case "$1" in
  master)
        httpd_status=$(ps -ef|grep -Ev "grep|$0"|grep '\bhttpd\b'|wc -l)
        if [ $httpd_status -lt 1 ];then
            systemctl start httpd
        fi
        sendmail
  ;;
  backup)
        httpd_status=$(ps -ef|grep -Ev "grep|$0"|grep '\bhttpd\b'|wc -l)
        if [ $httpd_status -gt 0 ];then
            systemctl stop httpd
        fi
  ;;
  *)
        echo "Usage:$0 master|backup VIP"
  ;;
esac
EOF
chmod +x /scripts/notify.sh

3.在备上设置一个脚本。

//创建脚本存放目录。
mkdir /scripts

//与主的那个检测脚本一摸一样。当检测本机为master时，若服务没起来会启动服务；若为backup时，若服务在运行则停止服务。
cat > /scripts/notify.sh << 'EOF'
#!/bin/bash
VIP=$2
sendmail (){
        subject="${VIP}'s server keepalived state is translate"
        content="`date +'%F %T'`: `hostname`'s state change to master"
        echo $content | mail -s "$subject" 1470044516@qq.com
}

case "$1" in
  master)
        httpd_status=$(ps -ef|grep -Ev "grep|$0"|grep '\bhttpd\b'|wc -l)
        if [ $httpd_status -lt 1 ];then
            systemctl start httpd
        fi
        sendmail
  ;;
  backup)
        httpd_status=$(ps -ef|grep -Ev "grep|$0"|grep '\bhttpd\b'|wc -l)
        if [ $httpd_status -gt 0 ];then
            systemctl stop httpd
        fi
  ;;
  *)
        echo "Usage:$0 master|backup VIP"
  ;;
esac
EOF
chmod +x /scripts/notify.sh

4.修改主配置文件，指定检测脚本。

cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
   router_id lb01
}

//全局设置，指定检测主的脚本。
vrrp_script httpd_check {
    script "/scripts/check_httpd.sh"
    interval 1
    weight -20
}

vrrp_instance VI_1 {
    state MASTER
    interface ens33
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass qingjun
    }
    virtual_ipaddress {
        192.168.161.200
    }
    track_script {              //追踪检测主的脚本，根据主的状态执行notify.sh脚本。
        httpd_check
    }
    notify_master "/scripts/notify.sh master 192.168.161.200"    /指定VIP。
    notify_backup "/scripts/notify.sh backup 192.168.161.200"
}

virtual_server 192.168.161.200 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    persistence_timeout 50
    protocol TCP

    real_server 192.168.161.131 80 {
        weight 1
        TCP_CHECK {
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }

    real_server 192.168.161.132 80 {
        weight 1
        TCP_CHECK {
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}

//重启keepalived。
systemctl restart keepalived

5.修改备配置文件，指定追踪检测主服务状态脚本。

cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
   router_id lb02
}

vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 51
    priority 99
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass qingjun
    }
    virtual_ipaddress {
        192.168.161.200
    }
    track_script {               //追踪检测主的脚本，根据主的状态执行notify.sh脚本。
        httpd_check
    }
    notify_master "/scripts/notify.sh master 192.168.161.200"     //指定VIP。
    notify_backup "/scripts/notify.sh backup 192.168.161.200"
}

virtual_server 192.168.161.200 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    persistence_timeout 50
    protocol TCP

    real_server 192.168.161.131 80 {
        weight 1
        TCP_CHECK {
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }

    real_server 192.168.161.132 80 {
        weight 1
        TCP_CHECK {
            connect_port 80
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}

//重启keepalived。
systemctl restart keepalived

6.验证。
在这里插入图片描述