一、高可用集群
1.1 集群类型
- LB:Load Balance 负载均衡 LVS/HAProxy/nginx(http/upstream, stream/upstream)
- HA:High Availability 高可用集群数据库、Redis
- SPoF: Single Point of Failure，解决单点故障
- HPC: High Performance computing 高性能集群
1.2 系统可用性
SLA：Service-Level Agreement服务等级协议(提供服务的企业与客户之间就服务的品质、水准、性能等方面所达成的双方共同认可的协议或契约)
A= MTBF/(MTBF+MTTR)
99.95%:(60*24*30)*(1-0.9995)=21.6分钟 #一般按一个月停机时间统计
指标：99.9% 99.99% 99.999%99.9999%
1.3 系统故障
硬件故障：设计缺陷、wear out(损耗)、非人为不可抗拒因素
软件故障：设计缺陷 bug
1.4 实现高可用
提升系统高用性的解决方案:降低MTTR-Mean Time To Repair(平均故障时间)
解决方案:建立冗余机制
- active/passive 主/备.
- active/active 双主.
- active --> HEARTBEAT --> passive
- active <--> HEARTBEAT <--> active
1.5.VRRP: Virtual Router Redundancy Protocol
虚拟路由冗余协议，解决静态网关单点风险
- 物理层：路由器、三层交换机
- 软件层：keepalived
1.5.1 VRRP 相关术语
- 虚拟路由器：Virtual Router
- 虚拟路由器标识：VRID(0-255)，唯一标识虚拟路由器
- VIP:VirtuallP
- VMAC: Virutal MAC(00-00-5e-00-01-VRID)
- 物理路由器（master：主设备、backup：备用设备、priority：优先级）
1.5.2 VRRP 相关技术
通告：心跳，优先级等；周期性
工作方式：抢占式，非抢占式
安全认证：
- 无认证
- 简单字符认证：预共享密钥
- MD5
工作模式：
- 主/备：单虚拟路由器
- 主/主：主/备(虚拟路由器1)，备/主(虚拟路由器2)
二、Keepalived 部署
2.1 keepalived简介
vrrp 协议的软件实现，原生设计目的为了高可用 ipvs服务
官网：http://keepalived.org/
功能：
- 基于vrrp协议完成地址流动
- 为vip地址所在的节点生成ipvs规则(在配置文件中预先定义)
- 为ipvs集群的各RS做健康状态检测
- 基于脚本调用接口完成脚本中定义的功能，进而影响集群事务，以此支持nginx、haproxy等服务
2.2 Keepalived 架构
官方文档：
https://keepalived.org/doc/
http://keepalived.org/documentation.html
- 用户空间核心组件：
vrrp stack：VIP消息通告
checkers：监测real server
system call：实现 vrrp 协议状态转换时调用脚本的功能
SMTP：邮件组件
IPVS wrapper：生成IPVS规则
Netlink Reflector：网络接口
WatchDog：监控进程
- 控制组件：提供keepalived.conf 的解析器，完成Keepalived配置
- IO复用器：针对网络目的而优化的自己的线程抽象
- 内存管理组件：为某些通用的内存管理功能（例如分配，重新分配，发布等）提供访问权限
2.3 Keepalived 环境准备
- 各节点时间必须同步：ntp, chrony 关闭防火墙及SELinux
- 各节点之间可通过主机名互相通信：非必须
- 建议使用/etc/hosts文件实现：非必须
- 各节点之间的root用户可以基于密钥认证的ssh服务完成互相通信：非必须
2.4 Keepalived 相关文件
- 软件包名：keepalived
- 主程序文件：/usr/sbin/keepalived
- 主配置文件：/etc/keepalived/keepalived.conf
- 配置文件示例：/usr/share/doc/keepalived/
- Unit File：/lib/systemd/system/keepalived.service
- Unit File的环境配置文件：/etc/sysconfig/keepalived
RHEL7中可能会遇到一下bug：
systemctl restart keepalived #新配置可能无法生效
systemctl stop keepalived;systemctl start keepalived #无法停止进程，需要 kill 停止
2.5 KeepAlived 配置说明
2.5.1 配置文件组成部分
配置文件：/etc/keepalived/keepalived.conf
配置文件组成
- GLOBAL CONFIGURATION
Global definitions：定义邮件配置，route_id，vrrp配置，多播地址等
- VRRP CONFIGURATION
VRRP instance(s)：定义每个vrrp虚拟路由器
- LVS CONFIGURATION
Virtual server group(s)
Virtual server(s)： LVS集群的VS和RS
2.5.2 配置语法说明
帮助
man keepalived.conf2.5.2.1 全局配置
! Configuration File for keepalived
global_defs {
notification_email {
594233887@qq.com #keepalived发生故障切换时邮件发送的目标邮箱，可以按行区分写多个
timiniglee-zln@163.com
}
notification_email_from keepalived@KA1.timinglee.org #发邮件的地址
smtp_server 127.0.0.1 #邮件服务器地址
smtp_connect_timeout 30 #邮件服务器连接timeout
router_id KA1.timinglee.org #每个keepalived主机唯一标识
#建议使用当前主机名，但多节点重名不影响
vrrp_skip_check_adv_addr #对所有通告报文都检查，会比较消耗性能
#启用此配置后，如果收到的通告报文和上一个报文是同一个路由器，则跳过检查，默认值为全检查
vrrp_strict #严格遵循vrrp协议
#启用此项后以下状况将无法启动服务:
#1.无VIP地址
#2.配置了单播邻居
#3.在VRRP版本2中有IPv6地址
#建议不加此项配置
vrrp_garp_interval 0 #报文发送延迟，0表示不延迟
vrrp_gna_interval 0 #消息发送延迟
vrrp_mcast_group4 224.0.0.18 #指定组播IP地址范围：
}2.5.2.2 配置虚拟路由器
vrrp_instance VI_1 {
state MASTER
interface eth0 #绑定为当前虚拟路由器使用的物理接口，如：eth0,可以和VIP不在一个网卡
virtual_router_id 51
#每个虚拟路由器惟一标识,范围：0-255，每个虚拟路由器此值必须唯一否则服务无法启动
#同属一个虚拟路由器的多个keepalived节点必须相同
#务必要确认在同一网络中此值必须唯一
priority 100 #当前物理节点在此虚拟路由器的优先级，范围：1-254
#值越大优先级越高,每个keepalived主机节点此值不同
advert_int 1 #vrrp通告的时间间隔，默认1s
authentication { #认证机制
auth_type AH|PASS #AH为IPSEC认证(不推荐),PASS为简单密码(建议使用)示例：
uth_pass 1111 #预共享密钥，仅前8位有效
#同一个虚拟路由器的多个keepalived节点必须一样
}
virtual_ipaddress { #虚拟IP,生产环境可能指定上百个IP地址
<IPADDR>/<MASK> brd <IPADDR> dev <STRING> scope <SCOPE> label <LABEL>
172.25.254.100 #指定VIP，不指定网卡，默认为eth0,注意：不指定/prefix,默认32
172.25.254.101/24 dev eth1
172.25.254.102/24 dev eth2 label eth2:1
}
}
