目录
一、keepalived简介
二、keepalived工作原理
三、LVS-DR模式+keepalived 高可用集群部署
1、部署2台web服务器
2、部署2台负载调度器
四、总结
一、keepalived简介
Keepalived是通过vrrp 协议的实现高可用性,对网络比较了解的IT人,对这个技术应该非常熟悉了,早期核心交换机用来实现双机双线的标准协议,现在随着技术发展出现了更好的核心设备的双活技术,vrrp/hrrp慢慢被取代了,但目前在Linux主机类应用场景使用还比较广泛。它的原生设计目的为了解决 ipvs高可用性。它与HeartBeat实现类似的功能,都可以实现服务或者网络的高可用,但是又有差别,HeartBeat是一个专业的、功能完善的高可用软件,它提供HA软件所需的基本功能,比如:心跳检测、资源接管,检测集群中的服务,在集群节点转移共享IP地址的所有者等等。HeartBeat功能强大,但是部署和使用相对比较麻烦,与HeartBeat相比,Keepalived主要是通过虚拟路由冗余来实现高可用功能,虽然它没有HeartBeat功能强大,但是Keepalived部署和使用非常的简单,所有配置只需要一个配置文件即可以完成。
官网:http://keepalived.org/
功能:
- 基于vrrp协议完成地址漂移;
- 为vip地址所在的节点生成ipvs规则 (在配置文件中预先定义);
- 为ipvs集群的各RS做健康状态检测;( keepalived 可以搭配 LVS、haproxy等成为黄金组合,尤其是 keepalived + haproxy 在很多企业生产中使用)
- 基于脚本调用接口完成脚本中定义的功能,进而影响集群事务,以此支持nginx、haproxy等服务。
二、keepalived工作原理
在一个LVS服务集群中通常有主服务器(MASTER)和备份服务器(BACKUP)两种角色的服务器,但是对外表现为一个虚拟IP,主服务器会发送VRRP通告信息给备份服务器,当备份服务器收不到VRRP消息的时候,即主服务器异常的时候,备份服务器就会接管虚拟IP,继续提供服务,从而保证了高可用性。
- 主服务器作用:转发数据;发送报文告诉备服务器自己在线。
- 备服务器作用:监听主服务器发来的数据;收不到消息的时候就接替主服务器。
三、LVS-DR模式+keepalived 高可用集群部署
主DR调度器:192.168.80.3/24
备DR调度器:192.16880.5/24
web1:192.168.80.7/24
web2:192.168.80.8/24
VIP:192.168.80.100/32
1、部署2台web服务器
第一台web节点服务器(192.168.80.7/24),VIP:192.168.80.100/32
1、#关闭防火墙
[root@web1 ~]# systemctl stop firewalld
[root@web1 ~]# setenforce 0
2、#安装httpd,开启服务
[root@web1 ~]# mount /dev/sr0 /mnt //挂载光盘
mount: /dev/sr0 写保护,将以只读方式挂载
[root@web1 ~]# yum install httpd -y //安装httpd服务
[root@web1 ~]# systemctl start httpd //开启httpd服务
3、#配置虚拟IP地址(VIP:192.168.80.100),添加虚接口lo:0。
#此地址仅用作发送We响应数据包的源地址,并不需要监听客户机的访问请求(改由调度器监听并分发)。
#因此使用虚接口lo:0来承载VIP地址,并为本机添加一条路由记录,将访问VIP的数据限制在本地,以避免通信紊乱。
[root@web1 ~]# cd /etc/sysconfig/network-scripts/
[root@web1 network-scripts]# cp ifcfg-lo ifcfg-lo:0
[root@web1 network-scripts]# vim ifcfg-lo:0 //设置虚接口lo:0
DEVICE=lo:0
IPADDR=192.168.80.100
NETMASK=255.255.255.255 //子网掩码必须全为1(即32个1)
ONBOOT=yes
[root@web1 network-scripts]# ifup lo:0 //启动虚接口
[root@web1 network-scripts]# ifconfig lo:0 //查看虚接口的信息
4、#添加路由记录,dev指定出站网卡
[root@web1 ~]# route add -host 192.168.80.100 dev lo:0
[root@web1 ~]# route -n //以数字形式显示路由信息
#可以将添加路由的命令写入开机自启配置文件中,每次开机后自动执行
[root@web1 ~]# vim /etc/rc.local
/sbin/route add -host 192.168.80.100 dev lo:0
[root@web1 ~]# chmod +x /etc/rc.d/rc.local
5、#调整内核的ARP响应参数
#arp_ignore=1,使本机只响应目的IP为本地物理网卡IP的ARP请求。
#arp_announce=2,使本机系统采用发送接口的IP作为ARP请求报文源地址。
[root@web1 ~]# vim /etc/sysctl.conf
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
[root@web1 ~]# sysctl -p //刷新配置,读取修改后的配置
6、#创建站点文件
[root@web1 ~]# echo "tt is a boy" > /var/www/html/index.html
[root@web1 ~]# cat /var/www/html/index.html
tt is a boy
第二台web节点服务器(192.168.80.8/24),VIP:192.168.80.100/32
1、#关闭防火墙
[root@web2 ~]# systemctl stop firewalld
[root@web2 ~]# setenforce 0
2、#安装httpd,开启服务
[root@web2 ~]# mount /dev/sr0 /mnt //挂载光盘
mount: /dev/sr0 写保护,将以只读方式挂载
[root@web2 ~]# yum install httpd -y //安装httpd服务
[root@web2 ~]# systemctl start httpd //开启httpd服务
3、#配置虚拟IP地址(VIP:192.168.80.100),添加虚接口lo:0。
#此地址仅用作发送We响应数据包的源地址,并不需要监听客户机的访问请求(改由调度器监听并分发)。
#因此使用虚接口lo:0来承载VIP地址,并为本机添加一条路由记录,将访问VIP的数据限制在本地,以避免通信紊乱。
[root@web2 ~]# cd /etc/sysconfig/network-scripts/
[root@web2 network-scripts]# cp ifcfg-lo ifcfg-lo:0
[root@web2 network-scripts]# vim ifcfg-lo:0 //设置虚接口lo:0
DEVICE=lo:0
IPADDR=192.168.80.100
NETMASK=255.255.255.255 //子网掩码必须全为1(即32个1)
ONBOOT=yes
[root@web2 network-scripts]# ifup lo:0 //启动虚接口
[root@web2 network-scripts]# ifconfig lo:0 //查看虚接口的信息
4、#添加路由记录,dev指定出站网卡
[root@web2 ~]# route add -host 192.168.80.100 dev lo:0
[root@web2 ~]# route -n //以数字形式显示路由信息
#可以将添加路由的命令写入开机自启配置文件中,每次开机后自动执行
[root@web2 ~]# vim /etc/rc.local
/sbin/route add -host 192.168.80.100 dev lo:0
[root@web2 ~]# chmod +x /etc/rc.d/rc.local
5、#调整内核的ARP响应参数
#arp_ignore=1,使本机只响应目的IP为本地物理网卡IP的ARP请求。
#arp_announce=2,使本机系统采用发送接口的IP作为ARP请求报文源地址。
[root@web2 ~]# vim /etc/sysctl.conf
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
[root@web2 ~]# sysctl -p //刷新配置,读取修改后的配置
6、#创建站点文件
[root@web2 ~]# echo "suzuka is a girl" > /var/www/html/index.html
[root@web2 ~]# cat /var/www/html/index.html
suzuka is a girl
2、部署2台负载调度器
主DR调度器:192.168.80.7/24
备DR调度器:192.168.80.8/24
两台调度器配置步骤相同,配置文件的参数有所不同。
1、#关闭防火墙和selinux
[root@tt1 ~]# systemctl stop firewalld
[root@tt1 ~]# setenforce 0
2、#安装ipvsadm工具和keepalived工具,加载ip_vs模块
[root@tt1 ~]# yum -y install ipvsadm keepalived
[root@tt1 ~]# modprobe ip_vs //加载ip_vs模块
[root@tt1 ~]# cat /proc/net/ip_vs //查看ip_vs模块的版本
3、#找到keeplived配置文件,进行备份(主、备DR 服务器上都要设置)
[root@tt1 ~]# rpm -qc keepalived
/etc/keepalived/keepalived.conf //配置文件位置
/etc/sysconfig/keepalived
[root@tt1 ~]# cd /etc/keepalived/
[root@tt1 keepalived]# cp keepalived.conf keepalived.conf.bak //备份配置文件
[root@tt1 keepalived]# ls
keepalived.conf keepalived.conf.bak
4、#修改keeplived配置文件(主、备DR 服务器上都要设置)
[root@tt1 keepalived]# vim keepalived.conf
......
#定义全局参数
global_defs {
smtp_server 127.0.0.1 #修改这一行,将邮件服务指向本地
router_id LVS_01 #指定服务器的名称,主备服务器名称须不同,主为LVS_01,备为LVS_02
#vrrp_skip_check_adv_addr
#vrrp_strict
#vrrp_garp_interval 0
#vrrp_gna_interval 0
#将以上四行vrrp的配置注释掉, 取消严格遵守VRRP协议功能,否则VIP无法被连接
}
#定义VRRP热备实例参数
vrrp_instance VI_1 {
state MASTER #指定热备状态,主为MASTER,备为BACKUP。但真正的主备是用优先级区分。
interface ens33 #指定承载vip地址的物理接口
virtual_router_id 51 #指定虚拟路由器的ID号,每个热备组保持一致。默认为51
#nopreempt #如果设置非抢占模式,两个节点state必须为bakcup,并加上配置nopreempt
priority 100 #指定优先级,数值越大优先级越高,这里设置主为100,备为90
advert_int 1 #通告间隔秒数(心跳频率)
authentication { #定义认证信息,每个热备组保持一致
auth_type PASS #认证类型
auth_pass abc123 #指定验证密码,主备服务器保持一致
}
virtual_ipaddress { #指定群集vip地址
192.168.80.100
}
}
#指定虚拟服务器地址(VIP)、端口,定义虚拟服务器和Web服务器池参数
virtual_server 192.168.80.100 80 {
delay_loop 6 #健康检查的间隔时间(秒)
lb_algo rr #指定调度算法,轮询(rr)
lb_kind DR #指定群集工作模式,直接路由(DR)
persistence_timeout 0 #连接保持时间(秒)
protocol TCP #应用服务采用的是 TCP协议
real_server 192.168.80.7 80 { #添加第一个Web节点的地址、端口
weight 1 #节点的权重
# SSL_GET { #注释掉这个健康检查的方式,默认SSL_GET,我们采用TCP_CHECK
#url {
# path /
# digest ff20ad2481f97b1754ef3e12ecd3a9cc
# }
# url {
# path /mrtg/
# digest 9b3a0c85a887a256d6939da88aabd8cd
TCP_CHECK { #采用TCP_CHECK健康检查的方式
connect_port 80 #添加检查的目标端口
connect_timeout 3 #添加连接超时(秒)
nb_get_retry 3 #添加重试次数
delay_before_retry 3 #添加重试间隔
}
}
real_server 192.168.80.8 80 { #添加第二个Web节点的地址、端口
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
##删除后面多余的配置##
5、#启动eepalived服务
[root@tt1 keepalived]# systemctl start keepalived
[root@tt1 keepalived]# ip addr #查看虚拟网卡vip
6、#保存调度策略,启动 ipvsadm 服务
[root@tt1 keepalived]# ipvsadm-save > /etc/sysconfig/ipvsadm
[root@tt1 keepalived]# systemctl start ipvsadm
[root@tt1 keepalived]# ipvsadm -ln //查看调度策略
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.80.100:80 rr persistent 50
-> 192.168.80.7:80 Masq 1 0 0
-> 192.168.80.8:80 Masq 1 0 0
#如没有VIP 的分发策略,则重启 keepalived 服务,systemctl restart keepalived
7、#调整 proc 响应参数,关闭Linux内核的重定向参数响应。
#由于LVS负载调度器和各节点需要共用VIP地址,需要关闭icmp的重定向,关闭路由转发功能,不充当路由器
[root@tt1 keepalived]# vim /etc/sysctl.conf
[root@tt1 keepalived]# sysctl -p //刷新配置,读取修改后的配置
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
8、#主调度器将配置文件传给备调度器。
[root@localhost keepalived]# scp keepalived.conf 192.168.80.5:`pwd`
9、#备调度器修改配置文件,修改为"router_id LVS_02"、"state BACKUP"、"priority 90",其他参数和主调度器保持一致。
[root@tt2 keepalived]# vim keepalived.conf
global_defs {
......
router_id LVS_02 #指定服务器的名称,主备服务器名称须不同,主为LVS_01,备为LVS_02
}
vrrp_instance VI_1 {
......
state BACKUP #指定热备状态,主为MASTER,备为BACKUP。
priority 90 #指定优先级,数值越大优先级越高,这里设置主为100,备为90
.......
}
四、总结
Keepalived通过什么判断哪台主机为主服务器,通过什么方式配置浮动IP?
- Keepalived首先做初始化先检查state状态,master为主服务器,backup为备服务器。
- 然后再对比所有服务器的priority,谁的优先级高谁是最终的主服务器。
- 优先级高的服务器会通过ip命令,为自己配置一个提前定义好的浮动IP地址。
keepalived的抢占与非抢占模式:
- 抢占模式即MASTER从故障中恢复后,会将VIP从BACKUP节点中抢占过来。非抢占模式即MASTER恢复后,不抢占BACKUP升级为MASTER后的VIP。
- 非抢占式俩节点的state必须都设置为bakcup,且必须配置nopreempt。
这样配置后,我们要注意启动服务的顺序,优先启动的获取master权限,与优先级没有关系。