一.LVS数据包流向分析

1.数据包流向

（1）客户端发送请求到 Director Server（负载均衡器），请求的数据报文（源 IP 是 CIP,目标 IP 是 VIP）到达内核空间。
（2）Director Server 和 Real Server 在同一个网络中，数据通过二层数据链路层来传输。
（3）内核空间判断数据包的目标IP是本机VIP，此时IPVS（IP虚拟服务器）比对数据包请求的服务是否是集群服务，是集群服务就重新封装数据包。修改源 MAC 地址为 Director Server 的 MAC地址，修改目标 MAC 地址为 Real Server 的 MAC 地址，源 IP 地址与目标 IP 地址没有改变，然后将数据包发送给 Real Server。
（4）到达 Real Server 的请求报文的 MAC 地址是自身的 MAC 地址，就接收此报文。数据包重新封装报文(源 IP 地址为 VIP，目标 IP 为 CIP)，将响应报文通过 lo 接口传送给物理网卡然后向外发出。
（5）Real Server 直接将响应报文传送到客户端。

2.DR 模式的特点

（1）Director Server 和 Real Server 必须在同一个物理网络中。

（2）Real Server 可以使用私有地址，也可以使用公网地址。如果使用公网地址，可以通过互联网对 RIP 进行直接访问。

（3）Director Server作为群集的访问入口，但不作为网关使用。

（4）所有的请求报文经由 Director Server，但回复响应报文不能经过 Director Server。

（5）Real Server 的网关不允许指向 Director Server IP，即Real Server发送的数据包不允许经过 Director Server。

（6）Real Server 上的 lo 接口配置 VIP 的 IP 地址。

二.LVS-DR中ARP的问题

1.问题1

在LVS-DR负载均衡群集中，负载均衡器与节点服务器都要配置相同的VIP地址，在局域网中具有相同的IP地址，势必会造成各服务器ARP通信的紊乱；

当ARP广播发送到LVS-DR集群时，因为负载均衡器和节点服务器都是连接到相同的网络上，它们都会接收到ARP广播，应该只有前端的负载均衡器进行响应，其他节点服务器不应该响应ARP广播。

1.1 解决办法

对节点服务器进行处理，使其不响应针对VIP的ARP请求

使用虚接口lo:0承载VIP地址
设置内核参数arp_ignore=1：代表系统只响应目的IP为本地IP的ARP请求

2.问题2

RealServer返回报文（源IP是VIP）经路由器转发，重新封装报文时，需要先获取路由器的MAC地址，发送ARP请求时，Linux默认使用IP包的源IP地址（即VIP）作为ARP请求包中的源IP地址，此时路由器的路由表进行更新，VIP的MAC地址由原先的均衡器变为节点服务器，路由器根据ARP表项，会将新来的请求报文转发给节点服务器，导致均衡器的VIP失效，又会造成VIP的紊乱。

2.1 解决办法

对节点服务器进行处理，设置内核参数arp_announce=2：代表不使用IP包的源地址来设置ARP请求的源地址，而选择发送ens33接口的IP地址

修改/etc/sysctl.conf文件
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce =2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce =2

三.LVS-DR特性

1.LVS-DR模式需要注意

保证前端路由将目标地址为VIP报文系统发给调度器 (DS)LVS-DR模式需要注意的是,而不是节点服务器 (RS )

解决法案:修改
RS上内核参数 (arp ingore和arp announce) 将节点服务器上VIP地址配置在lo接口的别名上，并限制其不能响应对VIP地址解析请求。

arp ingore=1 表示系统只响应目的IP为本地的ARP请求
arp annouce=2表示系统不使用IP包的源地址来设置的ARP请求的源地址，而选择发送接口的IP地址

2.优点

负载均衡器只负责将请求的包分发给物理服务器，而物理服务器将应答包直发送给用户。所以负载均衡器处理很巨大请求量，这种方式台负载均衡能为超过100台的物理服务器的服务负载均衡不再是西永的瓶颈。使用LVS-DR方式，如果你的负载均衡器有100M全双工网卡的话，就能使得整个Vs能达到1G的吞吐量,甚至更高.

3.缺点

这种方式需要所有的负载均衡和节点服务器都在同一广播域:不支持异地容灾。

LVS-DR 负载均衡群集的部署

实验环境：

DR服务器：192.168.158.20/24

两台WEB服务器：192.168.158.30/24，192.168.158.40/24

VIP：192.168.158.200/32

NFS服务器：192.168.158.192/24

客户端：192.168.72.77/24

1.LVS-DR集群构架图

（NFS服务器：192.168.158.20）

第一台web节点服务器（192.168.158.25/24），VIP：192.168.158.200/32

第二台web节点服务器（192.168.72.40/24），VIP：192.168.72.200/32

配置负载调度器（192.168.158.22/24）

浏览器输入VIP地址：192.168.158.200

部署共享服务（NFS服务器：192.168.158.20）

 #1、关闭防火墙
[root@localhost ~]# systemctl disable --now firewalld
[root@localhost ~]# setenforce 0

 #2、安装nfs-utils、rpcbind软件包
[root@localhost yum.repos.d]# yum install nfs-utils rpcbind -y

 #3、新建共享目录，并创建站点文件

[root@localhost yum.repos.d]# mkdir /share/
[root@localhost yum.repos.d]# cd /share/
[root@localhost share]# mkdir tt nn
[root@localhost share]# echo "tt is a girl" > tt/index.html
[root@localhost share]#  echo "nn is a boy" > nn/index.html

 #4、修改共享配置文件，设置共享策略
[root@localhost share]# pwd
/share

[root@localhost share]#  vim /etc/exports   #设置共享策略

/share/tt  192.168.158.0/24
/share/nn  192.168.158.0/24

 #5、启动两个服务，查看本机的NFS共享目录

[root@localhost share]# systemctl start rpcbind
[root@localhost share]#  systemctl start nfs
[root@localhost share]# showmount -e      #查看本机发布的NFS共享目录

部署Web节点服务器

第一台web节点服务器（192.168.158.25/24），VIP：192.168.158.200/32

[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# setenforce 0
setenforce: SELinux is disabled

安装httpd，开启服务

 #1、关闭防火墙
[root@localhost ~]# systemctl start httpd
[root@localhost ~]# setenforce 0

 #2、安装httpd，开启服务
[root@localhost ~]# mount /dev/sr0 /mnt     #挂载光盘
[root@localhost ~]# yum install httpd -y    #安装httpd服务    
[root@localhost ~]# systemctl start httpd   #开启httpd服务

#3、配置虚拟IP地址（VIP:192.168.158.200），添加虚接口lo:0。
 #此地址仅用作发送We响应数据包的源地址，并不需要监听客户机的访问请求（改由调度器监听并分发）。
 #因此使用虚接口lo:0来承载VIP地址，并为本机添加一条路由记录，将访问VIP的数据限制在本地，以避免通信紊乱。

[root@localhost ~]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# cp ifcfg-lo ifcfg-lo:0
[root@localhost network-scripts]# vim ifcfg-lo:0   #设置虚接口lo:0

CE=lo:0
IPADDR=192.168.158.200
NETMASK=255.255.255.255
ONBOOT=yes

 #4、添加静态路由信息，dev指定出站网卡

[root@localhost network-scripts]#  route add -host 192.168.158.200 dev lo:0  
[root@localhost network-scripts]# route -n

#5、调整内核的ARP响应参数
#arp_ignore=1，使本机只响应目的IP为本地物理网卡IP的ARP请求。
#arp_announce=2，使本机系统采用发送接口的IP作为ARP请求报文源地址。
vim /etc/sysctl.conf

net.ipv4.conf.lo.arp_ignore = 1 ?
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

[root@localhost network-scripts]# sysctl -p #刷新配置，读取修改后的配置

#6、挂载站点。将NFS服务器的共享目录，挂载到httpd服务的根目录
 [root@localhost network-scripts]# showmount -e 192.168.158.20   #查看NFS服务器的共享信息

[root@localhost network-scripts]#  mount 192.168.158.20:/share/tt/ /var/www/html

[root@localhost network-scripts]# df

[root@localhost network-scripts]# cat /var/www/html/index.html 
tt is a girl

第二台web节点服务器（192.168.72.40/24），VIP：192.168.72.200/32

和第一台的配置步骤相同。

#1、关闭防火墙
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# setenforce 0
setenforce: SELinux is disabled

 #2、安装httpd，开启服务
[root@localhost ~]# mount /dev/sr0 /mnt     #挂载光盘
 mount: /dev/sr0 写保护，将以只读方式挂载
[root@localhost ~]# yum install httpd -y     #安装httpd服务
[root@localhost ~]# systemctl start httpd    #开启httpd服务

#3、配置虚拟IP地址（VIP:192.158.20.200），添加虚接口lo:0。
 #此地址仅用作发送We响应数据包的源地址，并不需要监听客户机的访问请求（改由调度器监听并分发）。
 #因此使用虚接口lo:0来承载VIP地址，并为本机添加一条路由记录，将访问VIP的数据限制在本地，以避免通信紊乱。

[root@localhost ~]# d /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# cp ifcfg-lo ifcfg-lo:0
[root@localhost network-scripts]# vim ifcfg-lo:0 

DEVICE=lo:0
IPADDR=192.168.158.200
NETMASK=255.255.255.255     
ONBOOT=yes

[root@localhost network-scripts]# ifup lo:0        #启动虚接口
[root@localhost network-scripts]# ifconfig lo:0    #查看虚接口的信息

 #4、添加静态路由信息，dev指定出站网卡

[root@localhost network-scripts]# route add -host 192.168.158.200 dev lo:0  
[root@localhost network-scripts]# route -n    #以数字形式显示路由信息
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.158.2   0.0.0.0         UG    100    0        0 ens33
192.168.122.0   0.0.0.0         255.255.255.0   U     0      0        0 virbr0
192.168.158.0   0.0.0.0         255.255.255.0   U     100    0        0 ens33
192.168.158.200 0.0.0.0         255.255.255.255 UH    0      0        0 lo

#5、调整内核的ARP响应参数
#arp_ignore=1，使本机只响应目的IP为本地物理网卡IP的ARP请求。
#arp_announce=2，使本机系统采用发送接口的IP作为ARP请求报文源地址。
[root@localhost network-scripts]# vim /etc/sysctl.conf

net.ipv4.conf.lo.arp_ignore = 1 
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

[root@localhost network-scripts]# sysctl -p  #刷新配置，读取修改后的配置

 #6、挂载站点。将NFS服务器的共享目录，挂载到httpd服务的根目录
[root@localhost network-scripts]# showmount -e 192.168.158.20

[root@localhost network-scripts]# mount 192.168.158.20:/share/nn/ /var/www/html
[root@localhost network-scripts]# df 

[root@localhost network-scripts]# cat /var/www/html/index.html
nn is a boy

配置负载调度器（192.168.158.22/24）

#1、关闭防火墙
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# setenforce 0
setenforce: SELinux is disabled

 #2、加ip_vs模块
[root@localhost ~]# modprobe ip_vs
[root@localhost ~]# cat /proc/net/ip_vs

#3、安装ipvsadm工具
[root@localhost yum.repos.d]# yum install ipvsadm -y

 #4、配置虚拟IP地址（VIP：192.168.158.200），添加虚拟网卡ens33:0
[root@localhost network-scripts]# vim ifcfg-ens33:0

DEVICE=ens33:0
ONBOOT=YES
IPADDR=192.168.158.200
NETMASK=255.255.255.255  #子网掩码必须全为1

#5、调整proc响应参数
#由于LVS负载调度器和各节点需要共用VIP地址，需要关闭icmp的重定向，不充当路由器。

[root@localhost network-scripts]# vim /etc/sysctl.conf
[root@localhost network-scripts]# sysctl -p
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0

#6、设置负载分配策略（调度策略），-s rr表示指定轮询算法，-g表示使用DR模式
[root@localhost network-scripts]# ipvsadm -C 
[root@localhost network-scripts]# ipvsadm -A -t 192.168.158.200:80 -s rr
[root@localhost network-scripts]# ipvsadm -a -t 192.168.158.200:80 -r 192.168.158.30:80 -g
[root@localhost network-scripts]# ipvsadm -a -t 192.168.158.200:80 -r 192.168.158.40:80 -g

[root@localhost network-scripts]# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  localhost.localdomain:http rr
  -> 192.168.158.30:http          Route   1      0          0         
  -> 192.168.158.40:http          Route   1      0          0         
[root@localhost network-scripts]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.158.200:80 rr
  -> 192.168.158.30:80            Route   1      0          0         
  -> 192.168.158.40:80            Route   1      0          0

 #7、保存策略，启动ipvsadm。启动服务前一定要保存策略，生成相应文件。
[root@localhost network-scripts]# ipvsadm-save > /etc/sysconfig/ipvsadm
[root@localhost network-scripts]# systemctl start ipvsadm