nginx+keeplived 实现高可用 Web 负载均衡

一、架构简介

在系统设计中，可以利用Nginx的反向代理和负载均衡实现后端应用的高可用性，同时我们还需要考虑Nginx的单点故障。如果Nginx所在服务器宕机，或者Nginx服务不可用就会造成整个系统的不可用。为了解决这个问题可以使用Keepalived解决单点故障的问题。

keepalived是一个基于VRRP协议来实现的WEB服务高可用方案，可以利用其来避免单点故障。一个WEB服务至少会有2台服务器运行Keepalived，一台为主服务器（MASTER），一台为备份服务器（BACKUP），但是对外表现为一个虚拟IP，主服务器会发送特定的消息给备份服务器，当备份服务器收不到这个消息的时候，即主服务器宕机的时候，备份服务器就会接管虚拟IP，继续提供服务，从而保证了高可用性。

二、nginx+keeplived 实现高可用Web负载均衡（主从模式）

1.系统架构图

11和15两台服务器需要安装Keepalived和Nginx，Keepalived的配置为主从模式，虚拟IP地址172.17.3.222，此ip只会在11上面出现。只有主机挂了以后，这个虚拟的ip才会转移到15服务器上。主节点没挂之前用户就可以通过虚拟ip进行访问到11上面nginx进行负载到两台web服务器。如果11挂了以后，这个虚拟ip会从11上面转移到15，从15上面的nginx进行负载访问两台web的服务,从而达到nginx的高可用。

2.服务器方案规划

虚拟VIP	服务器	主从
172.17.3.222	172.17.3.11	主节点
172.17.3.222	172.17.3.15	从节点

3.所需软件

centos7.6
nginx-1.22.1
keepalived-2.2.7

二、安装nginx

1. 下载最新稳定版本 nginx-1.22.1

2. 安装要求的环境

  yum install gcc-c++
  yum install -y pcre pcre-devel
  yum install -y zlib zlib-devel
  yum install -y openssl openssl-devel

如果是离线安装，需要上传对应的安装包，手动安装。

3. 上传nginx安装包，解压缩并安装

# 将nginx安装包上传至 /usr/local/ 目录下
tar -zxvf nginx-1.22.1.tar.gz
cd nginx-1.22.1
./configure
make && make install

4.nginx负载均衡配置

vi /usr/local/nginx/conf/nginx.conf

upstream minio{
  server 172.17.3.11:9110;
  server 172.17.3.15:9110;
}

server {
    listen       88;
    server_name  minio;
    location / {
        proxy_pass                  http://minio;
        proxy_set_header            Host $http_host;
        client_max_body_size        1000m;
    }
}

三、安装keepalived

1.下载最新版本keepalived-2.2.7

2.上传安装包，解压缩并安装

   # 将keepalived安装包上传至 /usr/local 目录下
   tar -zxvf keepalived-2.2.7.tar.gz
   mv keepalived-2.2.7 keepalived
   cd keepalived
   ./configure --prefix=/usr/local/keepalived --sysconf=/etc
   make && make install

3.编辑配置文件

查看ip信息：ip addr，如下图所示，记下绑定虚拟IP的网络接口 ens192.

vi /etc/keepalived/keepalived.conf

主节点配置文件

! Configuration File for keepalived
global_defs {
	## keepalived 自带的邮件提醒需要开启 sendmail 服务。 建议用独立的监控或第三方 SMTP
	router_id Nginx_01 ## 标识本节点的字条串，通常为 hostname
}
## keepalived 会定时执行脚本并对脚本执行的结果进行分析，动态调整 vrrp_instance 的优先级。如果脚本执行结果为 0，并且 weight 配置的值>大于 0，则优先级相应的增加。如果脚本执行结果非 0，并且 weight配置的值小于 0，则优先级相应的减少。其他情况，维持原本配置的优先级，即>配置文件中 priority 对应的值。
vrrp_script chk_nginx {
    script "/etc/keepalived/nginx_check.sh" ## 检测 nginx 状态的脚本路径
    interval 2 ## 检测时间间隔
    weight -20 ## 如果条件成立，权重-20
}
## 定义虚拟路由， VI_1 为虚拟路由的标示符，自己定义名称
vrrp_instance VI_1 {
    state MASTER ## 主节点为 MASTER， 对应的备份节点为 BACKUP
    interface ens192 ## 绑定虚拟 IP 的网络接口，与本机 IP 地址所在的网络接口相同， 我的是 ens192
    virtual_router_id 11 ## 虚拟路由的 ID 号,两个节点设置必须一样
    mcast_src_ip 172.17.3.11 ## 本机 IP 地址
    priority 100 ## 节点优先级,值范围 0-254,MASTER 要比 BACKUP 高
    nopreempt ## 优先级高的设置 nopreempt 解决异常恢复后再次抢占的问题
    advert_int 1 ## 组播信息发送间隔，两个节点设置必须一样， 默认 1s
    ## 设置验证信息，两个节点必须一致
    authentication {
        auth_type PASS
        auth_pass 1111 ## 真实生产，按需求对应该过来
    }
    ## 将 track_script 块加入 instance 配置块
    track_script {
    	chk_nginx ## 执行 Nginx 监控的服务
    } 
    ## 虚拟 IP 池, 两个节点设置必须一样
    virtual_ipaddress {
    	172.17.3.222 ## 虚拟 ip，可以定义多个
    }
}

从节点配置

! Configuration File for keepalived
global_defs {
	router_id Nginx_02
}
vrrp_script chk_nginx {
    script "/etc/keepalived/nginx_check.sh"
    interval 2
    weight -20
}
vrrp_instance VI_1 {
    state BACKUP
    interface ens192
    virtual_router_id 11
    mcast_src_ip 172.17.3.15
    priority 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    track_script {
    	chk_nginx
    }
    virtual_ipaddress {
    	172.17.3.222
    }
}

4.启动keepalived服务

cd /usr/local/keepalived/bin
./keepalived

再次查看ip信息： ip addr ,如下图所示，多了一个虚拟网卡

5.把keepalived注册为系统服务

cp /usr/local/keepalived/keepalived/etc/init.d/keepalived /etc/init.d/
cp /usr/local/keepalived/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
# 提示是否覆盖? y
systemctl daemon-reload

之后就可以使用systemctl进行启动、停止、查看状态

systemctl start keepalived # 启动
systemctl status keepalived # 查看状态
systemctl stop keepalived # 停止

6.设置keepalived开机启动

[root@lh11 etc]# systemctl enable keepalived 
Created symlink from /etc/systemd/system/multi-user.target.wants/keepalived.service to /usr/lib/systemd/system/keepalived.service.

四、编写监测 nginx 状态的脚本

在keepalived配置文件中有 chk_nginx 的配置，此配置是为监测nginx状态，当监测到nginx挂掉之后，会自动重启nginx，所以我们不用再设置nginx开机启动，只需把 keepalived设置成开机启动即可。

vi /etc/keepalived/nginx_check.sh

#!/bin/bash
A=`ps -C nginx –no-header |wc -l`
if [ $A -eq 0 ];then
/usr/local/nginx/sbin/nginx
sleep 2
if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then
        killall keepalived
fi
fi