Keepalive+LVS群集部署
- 一、Keepalive概述
- 1、什么是Keepalive
- 2、Keepalive工作原理
- 3、Keepalive主要模块及作用
- 4、Keepalived 服务重要功能
- (1)管理 LVS 负载均衡软件
- (2)支持故障自动切换
- (3)实现 LVS 负载调度器、节点服务器的高可用性(HA)
- 5、Keepalived 高可用故障切换转移原理
- 二、Keepalive脑裂及解决方法
- 1、Keepalive脑裂
- 2、脑裂原因
- 3、应对策略
- 三、部署Keepalive+LVS群集
- 1、配置主负载调度器(主:192.168.10.130)
- (1)关闭防火墙和核心防护
- (2)安装ipvsadm和keepalived
- (3)添加模块查看
- (4)调整 proc 响应参数,关闭Linux 内核的重定向参数响应
- (5)修改配置文件Keeplived.conf
- 2、配置负载调度器(备:192.168.10.132)
- (1)关闭防火墙核心防护、安装ipvsadm keepalive服务
- (2)远程拷贝
- (3)修改keepalive.conf配置文件
- (4)调整proc响应参数,关闭Linux内核的重定向参数响应
- (5)添加模块查看
- 3、配置节点服务器
- (1)关闭防火墙 核心防护
- (2)安装并开启httpd服务
- (3)配置站点文件
- (4)配置虚拟vip
- (5)调整proc响应参数
- 4、客户端验证
- 5、断开主DR服务器的keepalived测试
- 总结
一、Keepalive概述
keepalived 软件起初是专为 LVS 负载均衡软件设计的,用来管理并监控 LVS集群中各个服务节点的状态,后来又加入了可以实现高可用的 VRRP 功能。因此,keepalived 除了能够管理 LVS集群外,还可以为其他服务(例如:Nginx、Haproxy、MySQL等)实现高可用。
keepalived 软件主要是通过 VRRP 协议实现高可用功能的。VRRP 是 Virtual Router Redundancy Protocol(虚拟路由器冗余协议)的缩写,VRRP出现的目的就是为了解决静态路由单点故障的问题,它能够保证当个别节点宕机时,整个网络可以不间断地运行。
所以,keepalived 一方面具有配置管理 LVS 的功能,同时还具有对 LVS 下面节点进行健康检查的功能,另一方面也可实现系统网络服务的高可用。
1、什么是Keepalive
Keepalived是一款专为LVS和HA设计的一款健康检查工具:支持故障自动切换、支持节点健康状态检查。
VRRP工作方式:抢占式、非抢占式、延迟抢占式模式。
2、Keepalive工作原理
Keepalived是一个基于VRRP协议来实现的LVS服务高可用方案,可以解决静态路由出现的单点故障问题。
在一个LVS服务集群中通常有主服务器(MASTER)和备份服务器(BACKUP)两种角色的服务器,但是对外表现为个虚拟IP,主服务器会发送VRRP通告信息给备份服务器,当备份服务器收不到VRRP消息的时候,即主服务器异常的时候,备份服务器就会接管虚拟IP,继续提供服务,从而保证了高可用性。
在Keepalived服务之间,只有作为主的服务器会一直发送VRRP广播包,告诉备它还活着,此时备不会抢占主,当主不可用时,即备监听不到主发送的广播包时,就会启动相关服务接管资源,保证业务的连续性。接管速度最快可以小于1秒。
3、Keepalive主要模块及作用
keepalived体系架构中主要有三个模块,分别是core、check和vrrp。
(1)core模块:为keepalived的核心,负责主进程的启动、维护及全局配置文件的加载和解析。
(2)vrrp模块:是来实现VRRP协议的。
(3)check模块:负责健康检查,常见的方式有端口检查及URL检查。
4、Keepalived 服务重要功能
(1)管理 LVS 负载均衡软件
Keepalived可以通过读取自身的配置文件,实现通过更底层的接口直接管理LVS的配置以及控制服务的启动,停止功能。
(2)支持故障自动切换
Keepalived可以实现任意两台主机之间,例如Master和Backup主机之间的故障转移和自动切换,这个主机可以是普通的不能停机的业务服务器,也可以是LVS负载均衡,Nginx反向代理这样的服务器。
Keepalived高可用功能实现的简单原理为,两台主机同时安装好Keepalived软件并启动服务,开始正常工作时,由角色为Master的主机获得所有资源并对用户提供服务,角色为Backup的主机作为Master主机的热备;当角色为Master的主机失效或出现故障时,角色为Backup的主机将自动接管Master主机的所有工作,包括接管VIP资源及相应资源服务;而当角色为Master的主机故障修复后,又会自动接管回它原来处理的工作,角色为Backup的主机则同时释放Master主机失效时它接管的工作,此时,两台主机将恢复到最初启动时各自的原始角色及工作状态。
(3)实现 LVS 负载调度器、节点服务器的高可用性(HA)
一般企业集群需要满足的三个特点:负载均衡、健康检查、故障切换,使用 LVS + Keepalived 完全可以满足需求。
5、Keepalived 高可用故障切换转移原理
Keepalived 高可用服务对集群之间的故障切换转移,是通过 VRRP(虚拟路由器冗余协议)来实现的。
在 Keepalived 服务正常工作时,主(Master)节点会不断地向备(Backup)节点发送(多播的方式)心跳消息,用以告诉备节点自己还活看,当主节点发生故障时,就无法发送心跳消息,备节点也就因此无法继续检测到来自主节点的心跳了,于是调用自身的接管程序,接管主节点的 IP 资源及服务。而当主节点恢复时,备节点又会释放主节点故障时自身接管的 IP 资源及服务,恢复到原来的备用角色。
二、Keepalive脑裂及解决方法
1、Keepalive脑裂
主备调度器通过内网交换机连接,如果交换机挂了,则此时主调度器仍存活,但备份调度器收不到主调度器的VRRP信息,备调度器就会工作,两台调度器就会同时工作,出现脑裂现象。
主备调度器同时工作,如果web是无状态应用,那么客户端无论从哪一个调度器进行访问,页面内容相同。但如果是有状态应用,则两台调度器同时工作,会导致客户端显示的页面资源不一致。
2、脑裂原因
- 高可用服务器对之间心跳线链路发生故障,导致无法正常通信。如心跳线坏了(包括断了,老化)
- 因网卡及相关驱动坏了,ip配置及冲突问题(网卡直连)
- 因心跳线间连接的设备故障(网卡及交换机)
- 因仲裁的机器出问题(采用仲裁的方案)
- 高可用服务器上开启了 iptables防火墙阻挡了心跳消息传输
- Keepalived配置里同一 VRRP实例如果 virtual_router_id两端参数配置不一致也会导致裂脑问题发生。
- vrrp实例名字不一致、优先级一致。
3、应对策略
-
主备调度器多连一条线,即使交换机挂了,这两个还可以通信。
-
通过第三方监控软件,当发现两台调度器同时工作,则杀掉主调度器。
-
自己写一个脚本,例如crontab和while死循环执行,当监控到备调度器工作了,就杀掉主调度器的keepalived服务。
三、部署Keepalive+LVS群集
环境准备:
主keepalived:192.168.10.130 lvs
备keepalived:192.168.10.132 lvs
web1:192.168.10.133
web2:192.168.10.134
vip:192.168.10.200
客户机访问:192.168.10.135
实验图示:
1、配置主负载调度器(主:192.168.10.130)
(1)关闭防火墙和核心防护
[root@localhost ~]#setenforce 0
setenforce: SELinux is disabled
[root@localhost ~]#systemctl stop firewalld
(2)安装ipvsadm和keepalived
[root@zhuServer ~]#yum install ipvsadm keepalived.x86_64 -y
(3)添加模块查看
[root@zhuServer ~]#modprobe ip_vs #加载ip_vs模块
[root@zhuServer ~]#cat /proc/net/ip_vs #查看ip_vs版本信息
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
(4)调整 proc 响应参数,关闭Linux 内核的重定向参数响应
[root@zhuServer ~]#vim /etc/sysctl.conf #修改Linux内核参数
[root@zhuServer ~]#sysctl -p #加载内核配置参数
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
(5)修改配置文件Keeplived.conf
#修改配置文件keeplived.conf
[root@zhuServer ~]#cd /etc/keepalived/
[root@zhuServer keepalived]#cp keepalived.conf keepalived.conf.bak
[root@zhuServer keepalived]vim keepalived.conf
......
global_defs { #定义全局参数
--10行--修改,邮件服务指向本地
smtp_server 127.0.0.1
--12行--修改,指定服务器(路由器)的名称,主备服务器名称须不同,主为LVS_01,备为LVS_02
router_id LVS_01
--14行--注释掉,取消严格遵守VRRP协议功能,否则VIP无法被连接
#vrrp_strict
}
vrrp_instance VI_1 { #定义VRRP热备实例参数
--20行--修改,指定热备状态,主为MASTER,备为BACKUP
state MASTER
--21行--修改,指定承载vip地址的物理接口
interface ens33
--22行--修改,指定虚拟路由器的ID号,每个热备组保持一致
virtual_router_id 10
#nopreempt #如果设置非抢占模式,两个节点state必须为bakcup,并加上配置 nopreempt
--23行--修改,指定优先级,数值越大优先级越高,这里设置主为100,备为90
priority 100
advert_int 1 #通告间隔秒数(心跳频率)
authentication { #定义认证信息,每个热备组保持一致
auth_type PASS #认证类型
--27行--修改,指定验证密码,主备服务器保持一致
auth_pass 123456
}
virtual_ipaddress { #指定群集vip地址
192.168.10.200
}
}
--36行--修改,指定虚拟服务器地址(VIP)、端口,定义虚拟服务器和Web服务器池参数
virtual_server 192.168.10.200 80 {
delay_loop 6 #健康检查的间隔时间(秒)
lb_algo rr #指定调度算法,轮询(rr)
--39行--修改,指定群集工作模式,直接路由(DR)
lb_kind DR
persistence_timeout 0 #连接保持时间(秒) 修改为0以便查看效果
protocol TCP #应用服务采用的是 TCP协议
--43行--修改,指定第一个Web节点的地址、端口
real_server 192.168.10.133 80 {
weight 1 #节点的权重
--45行--删除,添加以下健康检查方式
TCP_CHECK {
connect_port 80 #添加检查的目标端口
connect_timeout 3 #添加连接超时(秒)
nb_get_retry 3 #添加重试次数
delay_before_retry 3 #添加重试间隔
}
}
real_server 192.168.10.134 80 { #添加第二个 Web节点的地址、端口
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
##删除后面多余的配置##
}
[root@zhuServer ~]#ipvsadm-save > /etc/sysconfig/ipvsadm
[root@zhuServer ~]#systemctl start ipvsadm
[root@zhuServer ~]#ipvsadm #启动策略
[root@zhu keepalived]#systemctl restart keepalived.service #重启keepalive服务
2、配置负载调度器(备:192.168.10.132)
(1)关闭防火墙核心防护、安装ipvsadm keepalive服务
[root@localhost ~]# setenforce 0
setenforce: SELinux is disabled
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# yum install ipvsadm keepalived.x86_64 -y
(2)远程拷贝
主、备配置文件配置基本一样,方便起见,直接把主负载调度器的配置文件拷贝到备负载调度器
[root@zhuServer ~]#cd /etc/keepalived/
[root@zhuServer keepalived]#scp keepalived.conf root@192.168.10.132:/etc/keepalived/
(3)修改keepalive.conf配置文件
(4)调整proc响应参数,关闭Linux内核的重定向参数响应
[root@beiServer keepalived]# vim /etc/sysctl.conf
[root@beiServer keepalived]# sysctl -p
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
(5)添加模块查看
[root@beiServer keepalived]# modprobe ip_vs
[root@beiServer keepalived]# cat /proc/net/ip_vs
[root@beiServer network-scripts]# ipvsadm-save > /etc/sysconfig/ipvsadm
[root@beiServer network-scripts]# systemctl start ipvsadm
[root@beiServer network-scripts]# ipvsadm #启用策略
[root@beiServer network-scripts]# ipvsadm -ln
[root@beiServer network-scripts]# systemctl restart keepalived #重启keepalive服务
3、配置节点服务器
web1:192.168.10.133
web2:192.168.10.134
(1)关闭防火墙 核心防护
[root@localhost ~]#setenforce 0
setenforce: SELinux is disabled
[root@localhost ~]#systemctl stop firewalld
[root@localhost ~]#
(2)安装并开启httpd服务
两台节点服务器都需要安装httpd
[root@Web1 ~]#yum install httpd -y
[root@Web1 ~]#systemctl start httpd
(3)配置站点文件
[root@Web1 ~]#cd /var/www/html/
[root@Web1 html]#echo "zzt is boy" > index.html
[root@Web1 html]#vim /etc/httpd/conf/httpd.conf #关闭长连接
[root@Web2 ~]#cd /var/www/html/
[root@Web2 html]#echo "zhantai is boy" > index.html
[root@Web2 html]#cat index.html
zhantai is boy
[root@Web2 html]#vim /etc/httpd/conf/httpd.conf 关闭长连接
(4)配置虚拟vip
[root@Web1 ~]#ifconfig lo:0 192.168.10.200 netmask 255.255.255.255 #配置虚拟ip
[root@Web1 ~]#route add -host 192.168.10.200 dev lo:0 #添加路由
[root@Web2 ~]#ifconfig lo:0 192.168.10.200 netmask 255.255.255.255 #配置虚拟ip
[root@Web2 ~]#route add -host 192.168.10.200 dev lo:0 #添加路由
(5)调整proc响应参数
[root@Web1 network-scripts]#vim /etc/sysctl.conf
[root@Web1 network-scripts]#sysctl -p
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
[root@Web2 network-scripts]#vim /etc/sysctl.conf
[root@Web2 html]#sysctl -p
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
4、客户端验证
5、断开主DR服务器的keepalived测试
[root@zhuServer keepalived]#systemctl stop keepalived
[root@zhuServer keepalived]#ip addr
总结
Keepalived通过什么判断哪台主机为主服务器,通过什么方式配置浮动IP?
Keepalived首先做初始化先检查state状态,master为主服务器,backup为备服务器。
然后再对比所有服务器的priority,谁的优先级高谁是最终的主服务器。
优先级高的服务器会通过ip命令,为自己配置一个提前定义好的浮动IP地址。
keepalived的抢占与非抢占模式:
抢占模式即MASTER从故障中恢复后,会将VIP从BACKUP节点中抢占过来。非抢占模式即MASTER恢复后,不抢占BACKUP升级为MASTER后的VIP。
非抢占式俩节点的state必须都设置为bakcup,且必须配置nopreempt。
注意: 这样配置后,我们要注意启动服务的顺序,优先启动的获取master权限,与优先级没有关系了。