1. 高可用群集的相关知识

1. 1 高可用（HA）群集与普通群集的比较

普通群集

普通的群集的部署是通过一台度器控制调配多台节点服务器进行业务请求的处理，但是仅仅是一台调度器，就会存在极大的单点故障风险，当该调度器的链路或则调度器本身出现故障时，就会导致整个业务的无法正常进行。

高可用群集(HA)
高可用集群是由一台主调度器和一台或多台备用调度器。在主调度器能够正常运转时，由主调度器进行节点服务器业务的分配处理，其余备用调度器处于待机状态，不参与当前的集群运转。当主调度器出现故障无法运转时，此时备用调度器会由优先级最高的调度承担主调度器的工作，而出现故障的主调调度器便会退出当前工作，由人工维修后返回集群。

两者比较后：高可用集群只需要在调度器上多进行一台或两台（服务器本身的价格比较昂贵，一般备用的服务器的数量会和当前业务创造的价值对等）的设置，就可避免因调度器瘫痪业务中断的风险，所以实现了真正的高可用的效果

1.2 KeepAlive 高可用方案

Keepalived 是一个基于VRRP协议来实现的LVS服务高可用方案，可以解决静态路由出现的单点故障问题。

在一个LVS服务集群中通常有主服务器（MASTER）和备份服务器（BACKUP）两种角色的服务器，但是对外表现为一个虚拟IP（VIP），主服务器会发送VRRP通告信息给备份服务器，当备份服务器收不到VRRP消息的时候，即主服务器异常的时候，备份服务器就会接管虚拟IP，继续提供服务，从而保证了高可用性。（主备服务器之间由优先级决定，优先级更高的充当主服务器，优先级低的成为备份服务器。）

1.3 KeepAlived的体系模块

core模块：为keepalived的核心，负责主进程的启动、维护及全局配置文件的加载和解析。

vrrp模块：是来实现VRRP协议的。（调度器之间的健康检查和主备切换）

check模块：负责健康检查，常见的方式有端口检查及URL检查。（节点服务器的健康检查）

1.4 Keepalived实现原理

由多台路由器组成一个热备组，通过共用的虚拟IP地址对外提供服务。
每个热备组内同时只有一台主路由器提供服务，其他路由器处于冗余状态。
若当前在线的路由器失效，则其他路由器会根据设置的优先级自动接替虚拟IP地址，继续提供服务。
在配置时设置优先级，优先级高的那一方为master。master节点承载着VIP地址。

在一个LVS服务集群中通常有主服务器（MASTER）和备份服务器（BACKUP）两种角色的服务器，但是对外表现为一个虚拟IP，主服务器会发送VRRP通告信息给备份服务器，当备份服务器收不到VRRP消息的时候，即主服务器异常的时候，备份服务器就会接管虚拟IP，继续提供服务，从而保证了高可用性。

主服务器作用：转发数据；发送报文告诉备服务器自己在线。
备服务器作用：监听主服务器发来的数据；收不到消息的时候就接替主服务器

知识点补充：

vrrp端口号：112

vlan作用：逻辑划分广播域可用端口1-4094

vrrp中master是由优先级确认，优先级相同，再有IP地址确认，Ip地址大的优先

抢占模式：master重新上限后会重新成为master

非抢占模式：master重新上线后不会成为master,会成为bak

非抢占模式配置：两台都设置为state backup nopreempt

2. 高可用群集的脑裂现象及预防措施

2.1 高可用集群的脑裂现象及其诱发原因

脑裂现象
在"双机热备"高可用（HA）系统中，当联系两个节点的"心跳线"断开时(即两个节点断开联系时)，本来为一个整体、动作协调的HA系统，就分裂成为两个独立的节点(即两个独立的个体)。由于相互失去了联系，都以为是对方出了故障，此时备用调度器会运转起来争做主调度器的工作，而主调度器依然保持着调度工作，两个调度的同时运转导致整个系统的紊乱。就会发生严重后果：（1）共享资源被瓜分、两边"服务"都起不来了.(2）或者两边"服务"都起来了，但同时读写"共享存储"，导致数据损坏（常见如数据库轮询着的联机日志出错）。

产生脑裂的常见原因

硬件原因：

1. 高可用服务器各节点之间心跳线链路发生故障，导致无法正常通信。
2. 因心跳线坏了（包括断了，老化）。
3. 因网卡及相关驱动坏了，ip配置及冲突问题（网卡直连）。
4. 因心跳线间连接的设备故障（网卡及交换机）。
5. 因仲裁的机器出问题（采用仲裁的方案）。

运用配置原因：

6. 高可用服务器上开启了iptables防火墙阻挡了心跳消息传输。
7. 高可用服务器上心跳网卡地址等信息配置不正确，导致发送心跳失败。
8. 其他服务配置不当等原因，如心跳方式不同，心跳广插冲突、软件Bug等
9. Keepalived配置里同一VRRP实例如果virtual_router_id两端参数配置不一致也会导致裂脑问题发生。

2.2 脑裂预防预防措施

针对脑裂现象的产生，运维人员第一时间要做的不是处理发生故障的调度器或则故障线路，而是首先确保业务不会因此中断，进行脑裂的预防尤为重要。出现问题，先保证业务的进行，再进行排障。

方式一：添加冗余的心跳线

添加冗余的心跳线支持HA多线路的进行，在多线路的加持下，一条线路故障后，也会有其余的线路也可传输心跳信息，让主备调度器继续保持正常运转。此方案可减少脑裂产生的概率。

方式二：脚本配合周期任务计划检测，调度器自我裁决

脑裂分析：产生脑裂的最主要最常见的原因是备调度器接收不到主调度器的的心跳信息。首先调度器大多数情况下都会是在统一局域网中，是通过网络来进行心跳信息的传送。所以心跳信息的检测可以基于icmp协议来进行检测

脚本思路：如下图：若产生脑裂时我们需要探究的是通过脚本预测是1号线路的问题还是2号线路的问题。所以本次脚本的编写只要能判断出哪条线路产生问题后，进行相应的裁决就可以在脑裂产生的第一时间免除其带来的影响

（1）主调度器本身使用ping命令进行周期计划ping备用调度器，保证时刻畅通。

（2）采用条件判断语句，若主调调度器ping不通备调度器时，主调度器启用ssh服务远程借用节点服务器对备用调度器进行ping命令（可以多设置几台节点服务器ping，确保准确性）。若节点服务能ping通则说明问题出现在1号线路，主调度器进行自我裁决，让备调度器进行主调调度器的工作。若节点服务器也ping不通备调度器，说明问题出在了2号线路。

（3）可以在备调度器中也添加一个该方式的脚本，时刻ping主调度器。保证2号线出现问题时进行自我裁决。

（4）将主备调度器的脚本均添加周期计划任务中（crontab -e），进行合理的时间段检测。

方式三：第三方工具，监控软件

利用主流的监控软件，例如zabbix。当两个节点出现分歧时，由第3方的仲裁者决定听谁的。这个仲裁者，可能是一个锁服务，一个共享盘或者其它什么东西。例如设置参考IP（如网关IP），当心跳线完全断开时，2个节点都各自ping一下参考IP，不通则表明断点就出在本端。不仅"心跳"、还兼对外"服务"的本端网络链路断了，即使启动（或继续）应用服务也没有用了，那就主动放弃竞争，让能够ping通参考IP的一端去起服务。更保险一些，ping不通参考IP的一方干脆就自我重启，以彻底释放有可能还占用着的那些共享资源。

方式四：启用磁盘锁
正在服务一方锁住共享磁盘，"裂脑"发生时，让对方完全"抢不走"共享磁盘资源。但使用锁磁盘也会有一个不小的问题，如果占用共享盘的一方不主动"解锁"，另一方就永远得不到共享磁盘。现实中假如服务节点突然死机或崩溃，就不可能执行解锁命令。后备节点也就接管不了共享资源和应用服务。于是有人在HA中设计了"智能"锁。即：正在服务的一方只在发现心跳线全部断开（察觉不到对端）时才启用磁盘锁。平时就不上锁了。

3.LVS+KeepAlived高可用负载均衡集群的部署

部署前的准备
设备准备：

主DR 服务器：192.168.50.20
备DR 服务器：192.168.50.21
Web 服务器1：192.168.50.22
Web 服务器2：192.168.50.23
vip：192.168.50.50
客户端：192.168.50.50

具体实验部署步骤

步骤一：.配置负载调度器（主备相同）

(1)通用配置


systemctl stop firewalld
systemctl disable firewalld
setenforce 0
vim /etc/selinux/config
SELINUX=disabled
 
 
yum -y install ipvsadm keepalived
modprobe ip_vs
cat /proc/net/ip_vs

（2）配置keeplived主备设置

cd /etc/keepalived/
cp keepalived.conf keepalived.conf.bak
vim keepalived.conf
......
global_defs {						#定义全局参数
--10行--修改，邮件服务指向本地
	smtp_server 127.0.0.1
--12行--修改，指定服务器（路由器）的名称，主备服务器名称须不同，主为LVS_01，备为LVS_02
	router_id LVS_01
--14行--注释掉，取消严格遵守VRRP协议功能，否则VIP无法被连接
	#vrrp_strict
}
 
vrrp_instance VI_1 {				#定义VRRP热备实例参数
--20行--修改，指定热备状态，主为MASTER，备为BACKUP
    state MASTER
--21行--修改，指定承载vip地址的物理接口
    interface ens33
--22行--修改，指定虚拟路由器的ID号，每个热备组保持一致	
    virtual_router_id 10
	#nopreempt		#如果设置非抢占模式，两个节点state必须为BACKUP，并加上配置 nopreempt
--23行--修改，指定优先级，数值越大优先级越高，这里设置主为100，备为90
    priority 100
    advert_int 1					#通告间隔秒数(心跳频率)
    authentication {				#定义认证信息,每个热备组保持一致
		auth_type PASS				#认证类型
--27行--修改，指定验证密码（可以自定义），主备服务器保持一致
        auth_pass 1111   
    }
    virtual_ipaddress {				#指定群集vip地址
        192.168.50.50
    }
}
--36行--修改，指定虚拟服务器地址(VIP)、端口，定义虚拟服务器和Web服务器池参数
virtual_server 192.168.50.50 80 {
    delay_loop 6					#健康检查的间隔时间(秒)
    lb_algo rr						#指定调度算法，轮询(rr)
--39行--修改，指定群集工作模式，直接路由(DR)
    lb_kind DR
    persistence_timeout 0			#连接保持时间(秒)
    protocol TCP					#应用服务采用的是 TCP协议
--43行--修改，指定第一个Web节点的地址、端口
    real_server 192.168.50.22 80 {
        weight 1					#节点的权重
--45行--删除，添加以下健康检查方式		
        TCP_CHECK {
			connect_port 80			#添加检查的目标端口
			connect_timeout 3		#添加连接超时(秒)
			nb_get_retry 3			#添加重试次数
			delay_before_retry 3	#添加重试间隔
		}
	}
 
	real_server 192.168.50.123 80 {		#添加第二个 Web节点的地址、端口
        weight 1
        TCP_CHECK {
			connect_port 80
			connect_timeout 3
			nb_get_retry 3
			delay_before_retry 3
		}
	}
##删除后面多余的配置##
}
 
 
systemctl start keepalived
ip addr						#查看虚拟网卡vip

快捷方式配置：由于备DR调度器只要一些参数与主DR调度器不同，可以使用scp命令将该配置文件传输给备DR调度器

备DR调度器需要修改的参数配置：


#########全局配置中定义LVS编号为02#########
 
   router_id LVS_02
 
######虚拟网卡######
vrrp_instance VI_1 {
    state BAKUP   #修改状态为备份
.................
    priority 90   #优先级设置要比主DR调度器低
 
   
    }

systemctl start keepalived
ip addr #查看虚拟网卡vip

（3）启动 ipvsadm 服务

主DR调度器：192.168.50.20

ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm

ipvsadm -ln

备DR调度器：192.168.50.21

ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm

ipvsadm -ln

（4）调整 proc 响应参数，关闭Linux 内核的重定向参数响应（主备均配置）

vim /etc/sysctl.conf
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0

sysctl -p

步骤二：配置节点服务器

（1）通用配置

systemctl stop firewalld
systemctl disable firewalld
setenforce 0
vim /etc/selinux/config
SELINUX=disabled

yum -y install httpd
systemctl start httpd

(2)设置回环虚拟网卡（VIP），添加静态路由

#配置回环的虚拟网卡，设置VIP承载
vim /etc/sysconfig/network-scripts/ifcfg-lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.50.50
NETMASK=255.255.255.255

service network restart 或 systemctl restart network
ifup lo:0
ifconfig lo:0

（3）设置内核参数

——响应参数以阻止更新 VIP 的 MAC 地址，避免发生冲突（web1和web2的相同设置）

vim /etc/sysctl.conf

net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

sysctl -p