DR模式(直接路由)
概念
- Direct Routing,简称DR模式
- 采用半开放式的网络结构,与TUN模式的结构类似,但内网服务器并不是分散在各地,而是与调度器位于同一个物理网络
- 负载调度器与内网服务器通过本地网络连接,不需要建立专用的IP隧道
- 因为调度器只接收外网的请求,内网服务器的响应则是直接由网关路由出去,所以减轻了调度器的压力
- 针对大规模集群
忽略网关的DR模式工作原理
这里简化工作流程,忽略网关来讲解局域网内数据的转发流程
也就是说目前的场景是:内网中的交换机、后端服务器、调度器
(1)外网客户端发送请求数据包
-
- 网络层:源IP地址为客户端IP,目标IP地址为LVS的VIP(Virtual IP)地址
- 传输层:源IP的一个随机端口。VIP的80端口
- 数据链路层:源MAC地址是客户端的MAC地址,目标MAC地址是调度器的MAC地址
(2)交换机接收到数据包后
-
- 交换机收到数据包后,根据MAC地址表来转发给对应的调度器
- 交换机将下一跳的源MAC地址是交换机的MAC地址,目标MAC地址修改为调度器的MAC地址,封装成数据帧,然后传递给调度器
(3)调度器转发数据包到后端服务器
-
- 调度器将收到的数据包根据调度策略分配给选定的后端服务器
- 网络层:此时源地址还是客户端的IP地址保持不变,目标IP地址还是VIP
- 调度器不能转发数据包,而是调度,数据包内的源、目标地址不变
- 数据链路层:调度器重新封装数据帧,源MAC地址是调度器的MAC地址,目标MAC地址是后端服务器的真实MAC地址
(4)后端服务器处理请求
-
- 后端服务器收到请求后去掉帧头部信息解析,进行应答,生成响应的数据包
- 网络层:此时响应数据包的源IP地址是后端服务器虚拟子 接口绑定的VIP,目标IP地址是客户端的IP
- 数据链路层:后端服务器重新封装数据帧,源MAC地址是后端服务器的MAC地址,目标MAC地址是客户端的MAC地址
- (如果不忽略网关的话,目标MAC地址就是网关的内网接口MAC地址)
(5)交换机转发响应给外网客户端
-
- 最后,交换机将响应数据包返回给外网客户端
- 此时源MAC地址是交换机的MAC地址,目标MAC地址是客户端的MAC地址
- 如果有网关:网关重新封装数据帧,源MAC地址是网关的外网接口MAC地址,目标MAC地址是客户端的MAC地址
注意
IP地址的重要性
- 源IP地址:在整个通信过程中,源IP地址标识了数据包的发送方,即客户端的地址。这是确保服务器能够正确返回响应的关键。
- 目标IP地址:目标IP地址则标识了数据包的最终接收方,如调度器或后端服务器的地址。这确保了数据包在网络中正确路由到达目的地。
如果在传输过程中源IP地址被修改,会导致客户端不接受该数据包,从而导致通信失败或安全问题。
数据帧的重新封装
- 数据帧在每个网络设备之间传输时,会根据下一个设备的MAC地址进行重新封装。这是数据链路层的操作,确保数据能够通过物理网络正常传输。
- 每次重新封装时,会保留原始的网络层(IP层)信息,包括源和目标IP地址。这样做的目的是确保数据包在经过多个网络设备时,能够继续被正确地路由到下一个目标,直到达到最终的接收方。
DR模式中的关键问题
每个节点的VIP
在LVS-DR负载均衡群集中,负载均衡器与节点服务器都要配置相同的VIP地址
为什么VIP要在每个节点上都配置?
是为了让后端服务器生成的响应报文的源地址始终保持是VIP,客户端请求的是VIP,最后应答的也是VIP,保持一致
后端服务器真实IP接收—VIP应答
后端服务器接收请求用的是自己的真实IP接收的,但是响应请求的源地址用的却是VIP
解决方法
需要在每一个后端服务器设置路由条目
本主机内两个网卡接口的路由
本地回环增加一个子接口
当使用ens33网卡收到报文后,如果访问的是VIP的地址,就交给lo:0去处理报文封装
通过路由条目把下一跳修改为本地的另一个虚拟网卡(lo:0)
所以DR模式叫做直接路由
ARP
如果交换机和调度器是第一次通信,就需要发出ARP广播来查找调度器服务器
但是在局域网中调度器和后端服务器具有相同的VIP地址,会造成各服务器ARP通信的混乱
- 当ARP广播发送到LVS-DR集群时,因为调度器和后端服务器都是连接到相同的网络上,他们都会接收到ARP广播
- 应该设置只有前端的调度器进行响应。其他后端服务器不响应 该ARP广播
解决方法
- 对后端服务器进行处理,使其不响应针对VIP的ARP请求
- 使用虚拟接口lo:0承载VIP地址
- 设置内核参数arp_ignore=1表示系统只响应目标地址为本地真实IP的ARP请求
IP地址
当交换机第一次与调度器通信后,网关内ARP缓存表存储的是VIP对应调度器的MAC地址
但是到后端服务器发送响应报文给网关时,这个响应报文的源地址还是VIP但是MAC地址就变成了后端服务器的MAC地址
网关接收到响应以后,会发现VIP对应的MAC地址与ARP缓存表记录的信息对不上
此时如果不处理,那么下次再有外网请求转发时就会直接发送给后端服务器,而不是调度器了
解决方法
对后端服务器进行处理,设置内核参数arp_announce=2表示系统不使用IP包的源地址来设置ARP请求的源地址,而选择发送接口的IP地址
设置完参数以后,后端服务器再发送报文的IP地址就不使用VIP作为地址,而是使用自己的真实地址来发送报文,那么网关接收到了报文就不会冲突了
发送ARP请求时,Linux默认使用IP包的源IP地址(VIP)作为ARP请求包中的源IP地址,而不使用发送接口的IP地址
总结
后端服务器的VIP不参与ARP的请求和应答
案例
案例介绍
为了进一步提高网站的负载能力,现在决定扩展现有的网站平台,基于LVS构建负载均衡集群。
考虑到集群的访问效率,准备采用LVS的DR模式,共享存储设备存放在内网中
案例环境
因为本次案例主要针对Linux上的部署操作,所以与外网通信的网关就模拟存在了
主机 | 操作系统 | IP 地址 | 角色 |
服务器 | CentOS7.9 | 192.168.10.101 | 调度器 |
服务器 | CentOS7.9 | 192.168.10.102 | Web服务器 |
服务器 | CentOS7.9 | 192.168.10.103 | Web服务器 |
服务器 | CentOS7.9 | 192.168.10.104 | NFS共享存储 |
测试机 | CentOS7.9 | 172.16.16.200 | 客户端,测试机 |
实验步骤
打开五台Linux虚拟机并全部连接上XShell
基本环境设置
修改主机名
给对应的主机修改主机名,以便区分
# 192.168.10.101
[root@localhost ~]# hostnamectl set-hostname LVS
[root@localhost ~]# bash
# 192.168.10.102
[root@localhost ~]# hostnamectl set-hostname Web01
[root@localhost ~]# bash
# 192.168.10.103
[root@localhost ~]# hostnamectl set-hostname Web02
[root@localhost ~]# bash
# 192.168.10.104
[root@localhost ~]# hostnamectl set-hostname nfs
[root@localhost ~]# bash
# 192.168.10.105
[root@localhost ~]# hostnamectl set-hostname client
[root@localhost ~]# bash
调度器设置
配置VIP
在101(调度器)操作
cd进入存放网卡配置文件的目录下,拷贝出一个子接口网卡配置文件,修改如下几条内容
UUID可以保留,因为这两个IP用到的都是同一个物理网卡,不冲突
[root@lvs ~]# cd /etc/sysconfig/network-scripts/
[root@lvs network-scripts]# cp ifcfg-ens33 ifcfg-ens33:0
[root@lvs network-scripts]# vim ifcfg-ens33:0
IPADDR=192.168.10.172
NAME=ens33:0
DEVICE=ens33:0
保存并退出,重启网络,使用ifconfig查看子接口是否被创建出来了
[root@lvs network-scripts]# systemctl restart network
[root@lvs network-scripts]# ifconfig
ens33:0:
inet 192.168.10.172 netmask 255.255.255.0
配置内核参数
调度器并不是转发报文,而是根据调度策略分配,所以在内核配置文件里设置:关闭转发功能
- net.ipv4.conf.all.send_redirects
- 是否允许系统重定向功能
- ICMP重定向消息是用来告知主机在其它子网的更佳路由信息的消息
- net.ipv4.conf.default.send_redirects
- 默认是否允许系统重定向功能
- 如果没有单独为某个接口设置不同的值,那么会使用这个默认值
- net.ipv4.conf.ens33.send_redirects
- 针对ens33网络接口的设置,它覆盖了默认值和全局设置,确保对该网络接口禁止发送重定向消息
[root@lvs ~]# vim /etc/sysctl.conf
net.ipv4.conf.all.send_redirects=0
net.ipv4.conf.default.send_redirects=0
net.ipv4.conf.ens33.send_redirects=0
使用sysctl -p来不用重启系统应用内核配置
[root@lvs ~]# sysctl -p
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
配置调度策略
为了方便实验,关闭防火墙和内核安全机制,并安装LVS管理程序
[root@lvs ~]# systemctl stop firewalld
[root@lvs ~]# setenforce 0
[root@lvs ~]# yum -y install ipvsadm
使用ipvsadm命令来创建集群服务负责将到达192.168.10.172:80的请求根据设定的调度策略分发到后端服务器。
然后可以使用ipvsadm -ln来查看现有的调度策略
- -g:gateway,指定为DR模式
[root@lvs ~]# ipvsadm -A -t 192.168.10.172:80 -s wrr
[root@lvs ~]# ipvsadm -a -t 192.168.10.172:80 -r 192.168.10.102 -g -w 1
[root@lvs ~]# ipvsadm -a -t 192.168.10.172:80 -r 192.168.10.103 -g -w 2
[root@lvs ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.10.172:80 wrr
-> 192.168.10.102:80 Route 2 0 0
-> 192.168.10.103:80 Route 2 0 0
Web服务器配置
先右键XShell终端的空白处,开启会话同步
注意只开启102和103两个Web服务器的会话同步,其他根据下图关闭
在102(Web服务器①)操作
为了方便实验,关闭防火墙和内核安全机制
[root@web01 ~]# systemctl stop firewalld
[root@web01 ~]# setenforce 0
绑定VIP
后端服务器要通过本地回环来绑定VIP
这里在本机回环接口上创建一个虚拟子接口,把IP设为VIP,实现封装时的需求
[root@web01 ~]# cd /etc/sysconfig/network-scripts/
[root@web01 network-scripts]# cp ifcfg-lo ifcfg-lo:0
[root@web01 network-scripts]# vim ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.10.172
NETMASK=255.255.255.255
#NETWORK=127.0.0.0
#BROADCAST=127.255.255.255
ONBOOT=yes
NAME=loopback
255.255.255.255(/32)
- 代表完全独立的IP,哪怕有一个相同IP和相同掩码也不会冲突
- 意味着这个IP地址不再代表一个网络或者子网的一部分,而是指定了一个具体的主机,避免与其他设备的IP地址重叠或冲突
- 32位掩码的IP通常不用于实际的通信,只用于管理,我们这里就只用于封装数据包
保存并退出,重启网络,可以使用ifconfig查看lo:0有没有创建成功
[root@web01 network-scripts]# systemctl restart network
[root@web01 network-scripts]# ifconfig
lo:0:
inet 192.168.10.172 netmask 255.255.255.255
设置路由条目
如果有请求访问192.16.16.172就路由给lo:0去处理
使用route命令,指定请求的IP,再指定处理的设备为lo:0但此时只是临时生效,关机后就失效了
要永久生效的话,可以在/etc/rc.local文件末尾追加该命令,来实现开机时自动执行该命令
[root@web01 ~]# route add -host 192.168.10.172 dev lo:0
[root@web01 ~]# vim /etc/rc.local
route add -host 192.168.10.172 dev lo:0
设置内核参数
针对上面概念我们提到的ARP请求的问题,需要修改内核参数,来不让VIP参与ARP的请求和应答
在内核配置文件末尾追加下方代码块中的内容,然后使用sysctl -p应用配置参数
[root@web01 ~]# vim /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore=1
net.ipv4.conf.all.arp_announce=2
net.ipv4.conf.default.arp_ignore=1
net.ipv4.conf.default.arp_announce=2
net.ipv4.conf.lo.arp_ignore=1
net.ipv4.conf.lo.arp_announce=2
[root@web01 ~]# sysctl -p
安装Web服务
还是在102(Web服务器①)操作(会话同步中)
安装Apache网站服务,启动httpd服务
[root@web01 ~]# yum -y install httpd
[root@web01 ~]# systemctl start httpd
关闭全部会话同步
分别添加测试对应的网页内容
在102(Web服务器①)操作(会话同步关闭)
创建网页文件,添加以下内容
[root@web01 ~]# vim /var/www/html/index.html
Test Web 01
在103(Web服务器②)操作
创建网页文件,添加以下内容
[root@web02 ~]# vim /var/www/html/index.html
Test Web 02
测试
在105(外网客户端)操作
因为在设置调度策略时指定了权重值,所以调度器会把每3次请求中的2次分配给102,1次分配给103
[root@client ~]# curl 192.168.10.172
Test Web 01
[root@client ~]# curl 192.168.10.172
Test Web 02
[root@client ~]# curl 192.168.10.172
Test Web 02
[root@client ~]# curl 192.168.10.172
Test Web 01
[root@client ~]# curl 192.168.10.172
Test Web 02
[root@client ~]# curl 192.168.10.172
Test Web 02
模拟故障
如果把102的网站服务关闭了,只留下一个103,然后让客户端再去访问
[root@client ~]# curl 192.168.10.172
Test Web 02
[root@client ~]# curl 192.168.10.172
Test Web 02
[root@client ~]# curl 192.168.10.172
curl: (7) Failed connect to 192.168.10.172:80; 拒绝连接
因为其中一台后端服务器故障了,而调度策略中又指定了分配请求给该服务器,但是该服务器的服务已经关闭
所以LVS的缺点就是:如果只单独使用LVS来实现负载均衡集群,那么假如有后端服务器故障了,需要手动删除调度策略,LVS不会自动更新调度策略,LVS的还需要借助其他技术手段才能实现真正的高可用
NFS共享存储
在104(共享存储服务器)操作
关闭防火墙和内核安全机制,然后安装nfs文件系统所需依赖
[root@nfs ~]# systemctl stop firewalld
[root@nfs ~]# setenforce 0
[root@nfs ~]# yum -y install nfs-utils
[root@nfs ~]# vim /etc/exports
/opt/wwwroot 192.168.10.0/24(rw,sync,no_root_squash)
# 保存并退出
创建共享目录,并启动服务
[root@nfs ~]# mkdir /opt/wwwroot
[root@nfs ~]# systemctl start nfs
[root@nfs ~]# systemctl start rpcbind
挂载共享目录
在102(Web服务器①)操作
安装nfs文件系统所需依赖,使用mount命令指定文件系统类型和挂载位置,再指定挂载点
最后使用df命令查看是否挂载成功
[root@web01 ~]# yum -y install nfs-utils
[root@web01 ~]# mount -t nfs 192.168.10.104:/opt/wwwroot /var/www/html/
[root@web01 ~]# df
文件系统 1K-块 已用 可用 已用% 挂载点
192.168.10.104:/opt/wwwroot 204368640 1901824 202466816 1% /var/www/html
在103(Web服务器②)操作
步骤同上
[root@web02 ~]# yum -y install nfs-utils
[root@web02 ~]# mount -t nfs 192.168.10.104:/opt/wwwroot /var/www/html/
[root@web02 ~]# df
文件系统 1K-块 已用 可用 已用% 挂载点
192.168.10.104:/opt/wwwroot 204368640 1901824 202466816 1% /var/www/html
因为挂载一个目录到/var/www/html目录后,会覆盖该目录原本的内容,所以这里继续在103的挂载点下创建一个测试的网页文件,添加以下内容
[root@web02 html]# vim index.html
NFS Test
测试
在105(外网客户端)操作
最后在客户端测试,共享存储的功能就实现了
[root@client ~]# curl 192.168.10.172
NFS Test
[root@client ~]# curl 192.168.10.172
NFS Test
[root@client ~]# curl 192.168.10.172
NFS Test
案例完成