# LVS的概述
1/什么是LVS
linux virtural server的简称,也就是linxu虚拟机服务器,使用lvs可以达到的技术目标是:通过linux达到负载均衡技术和linux操作系统实现一个高性能高可用的linux服务器集群,他具有良好的可靠性,可延展性和可操作性,从而以低廉的成本实现最优的性能,Lvs是一个实现负载均衡集群开源软件项目,lvs从逻辑上可以分为调度层,
server集群层和共享存储。
2、LVS调度算法
# 静态调度算法:
1)轮询:RR 轮询**
调度器通过"轮叫"调度算法将外部请求按顺序轮流分配到集群中的真实服务器上,它均等地对待每一台服务器,而不管服务器上实际的连接数和系统负载。
2)加权轮询
WRR 加权轮询**
调度器通过"加权轮叫"调度算法根据真实服务器的不同处理能力来调度访问请求。 这样可以保证处理能力强的服务器处理更多的访问流量。调度器 可以自动问询真实服务器的负载情况,并动态地调整其权值。
3)目标地址hash
DH 目标地址hash**
算法也是针对目标IP地址的负载均衡,但它是一种静态映射算法,通过一个散列(Hash函数将一个目标IP地址映射到一台服务器。目标地址散列调度算法先根据请求的目标IP地址,作为散列键(Hash Key)从静态分配的散列表找出对应的服务器,若该服务器
是可用的且未超载,将请求发送到该服务器,否则返回空。
4)源地址hash
SH 源地址hash**
算法正好与目标地址散列调度算法相反,它根据请求的源IP地址,作为散列键(Hash Key)从静态分配的散列表找出对应的服务器,若该服务器是 可用的且未超载,将请求发送到该服务器,否则返回空。
它采用的散列函数与目标地址散列调度算法的相同。除了将请求的目
标IP地址换成请求的源IP地址外,它的算法流程与目标地址散列调
度算法的基本相似。在实际应用中,源地址散列调度和目标地址散列
调度可以结合使用在防火墙集群中,它们可以保证整个系统的唯一出
入口。
# 动态调度算法
1)Lc最少链接
调度器通过"最少连接"调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。 如果集群系统的真实服务器具有相近的系统性能,采用"最小连接"调度算法可以较好地均衡负载。
2)wlc加权最少链接
在集群系统中的服务器性能差异较大的情况下,调度器采用"加权最少链接"调度算法优化负载均衡性能,具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动问询真实服务器的负载情况,并动态地调整其权值。
3)sed最少期望延迟
基于wlc算法,举例说明:ABC三台机器分别权重123,连接数也分别是123,name如果使用WLC算法的话一个新请求 进入时他可能会分给ABC中任意一个,使用SED算法后会进行这样一个运算。
A:(1+1)/2
B:(1+2)/2
C:(1+3)/3
根据运算结果,把连接交给C
4)nq从不排队调度算法
无需列队,如果有台realserver的连接数=0 就直接分配过去,不需要进行sed运算
5) lblc基于本地最少链接
"基于局部性的最少链接" 调度算法是针对目标IP地址的负载均衡,目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该 目标IP地址最近使用的服务器,若该服务器 是可用的且没有超载,将请求发送到该服务器;若服务器不存在,或者该服务器超载且有服务器处于一半的工作负载,则用"最少链接"的原则选出一个可用的服务器,将请求发送到该
服务器。
6)lblcr带复制的基于本地的最少链接
"带复制的基于局部性最少链接"调度算法也是针对目标IP地址的负载均衡,目前主要用于Cache集群系统。它与LBLC算法的不同 之处是它要维护从一个 目标IP地址到一组服务器的映射,而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务器组,按"最小连接"原则从服务器组中选出一台服务器,若服务器没有超载,将请求发送到该服务器;若服务器超载,则按"最小连接"原则从这个集群中选出一 台服务器 ,将该服务器加入到服务器组中,将请求发送到该服务器。同时,当该服务器组有一段时间没有被修改, 将最忙的服务器从服务器组中删除,以降低复制的程度。
3、LVS的工作原理
1)当用户向负载均衡调度器(director server)发起请求,调度器将请求发往内核空间
2)prerouting链首先会接受到用户请求,判断目标ip确定是本机ip,将数据包发往input链
3)IPVS是工作在input链上的,当用户请求到达input时,ipvs会将用户请求和自己定义好的集群服务器进行比对,如果用户请求就是定义的集群服务,那么此时ipvs会强行修改数据包里的目标ip地址以及端口,并将新的数据包发往POSTROUTING链,
4)POSTROUTING链接收到数据包后,发现目标ip地址刚好是自己的后端服务器,那么通过选路,将数据包最终发送给后端服务器。
4、组成以及相关术语
1)组成
ipvs:ip virtual server,一段代码工作在内核空间,ipvs,是真正生效实现调度的代码
ipvsadm:另一段是工作在用户空间,ipvsadm,负责为ipvs内核框架编写规则,定义
谁是集群服务,谁是后端真正的服务器(real server)类似nginx中的upstrean
lvs组成=ipvsipv(内核,负载均衡调度代码)+sadm(ipvs管理器,负责均衡提供集群后端服务等信息)
2)术语
DS DIrector Server 前端负责均衡节点(负载均衡服务器);RS real server 后端真实工作服务器(web服务器)
vip向外部直接面向用户请求,作为用户请求的目标ip地址(负载均衡的ip地址,提供给用户)
DIP Director Server Ip 和内部主机通讯的ip地址(负责与Real Server交互的内部Ip)
RIP Real Server Ip 后端服务器ip地址
CIP client IP 访问客户端ip地址
4、三种工作模式
1)LVS-NAT模式
2)LVS-DR模式
3)Lvs-Tun模式(隧道模式)
5、NAT 工作原理及特性
1)Rs应该是私有地址,Rs网关必须指向DIP,即要求DIP和RIP必须在同一个网段内
2)请求和响应报文都应该经过Director Server,高负载场景中Director Server容易成为性能瓶颈
3)支持端口映射
4)Rs可是使用任意操作系统
5)lvs-nt模式优点是配置简单,缺点是请求和响应都必须经过ds,容易成为性能瓶颈,希望有这样的模式:请求的时候使用input链进行负载均衡,响应的时候不要经过ds,直接由rs响应给客户端。在nat模式的时候,请求vip,接收vip的响应,构想一种请求vip,接受rip响应,但这是不允许的。于是便出现了DR模式。
NAT模式的搭建实战
主机名 | 功能 | |
ds01 | Director-serrver,ntp | |
内网dip(192.168.2.206) | 外网vip(192.168.11.94) | |
web | Real-server | |
web1(192.168.2.200) | web2(192.168.2.201) |
# 环境准备
# 配置vip(虚拟)网卡
=====web1的配置======
[root@web1 ~]#systemctl status firewalld
[root@web1 ~]#setenforce 0
[root@web1 ~]#yum -y install nginx
[root@web1 ~]#echo 'i am web1' > /usr/share/nginx/html/index.html
[root@web1 ~]#nginx
[root@web1 ~]#curl 192.168.2.200
i am web1
=====web2的配置======
[root@web2 ~]#yum -y install nginx
[root@web2 ~]#echo 'i am web2' > /usr/share/nginx/html/index.html
[root@web2 ~]#yum list installed|grep nginx
nginx.x86_64 1:1.20.1-10.el7 @epel
nginx-filesystem.noarch 1:1.20.1-10.el7
[root@web2 ~]#nginx @epel
[root@web2 ~]# curl 192.168.2.201
i am web2
=====ds01的配置======
1、添加一块网卡,设置桥接模式,并且桥接到有网的适配器中,此时在虚拟主机中使用ifconfig无法找到新的网卡。
2、此时只能使用ip a s指令查看到新的ens36网卡,没有路由
[root@ds01 ~]# ip a s
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
link/ether 00:0c:29:f9:95:19 brd ff:ff:ff:ff:ff:ff
inet 192.168.2.206/24 brd 192.168.2.255 scope global noprefixroute ens33
valid_lft forever preferred_lft forever
inet6 fe80::5197:3f3c:567d:1e19/64 scope link noprefixroute
valid_lft forever preferred_lft forever
inet6 fe80::b496:4fc:9c02:9127/64 scope link tentative noprefixroute dadfailed
valid_lft forever preferred_lft forever
3: ens36: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
link/ether 00:0c:29:f9:95:23 brd ff:ff:ff:ff:ff:ff
[root@ds01 ~]# cp /etc/sysconfig/network-scripts/ifcfg-ens33 /etc/sysconfig/network-scripts/ifcfg-ens36
3、编辑网卡配置,生成uuid,重启network服务
[root@ds01 ~]# uuidgen
87bd5ff3-52fb-49ce-9299-861b1132b23f
[root@ds01 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens36
TYPE=Ethernet
BOOTPROTO=none
NAME=ens36
UUID=87bd5ff3-52fb-49ce-9299-861b1132b23f
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.11.94
[root@ds01 ~]#systemctl restart network
4、配置ipvs规则
# 查看所有的规则,如果已经配置好规则,重启之后也就没有了
[root@ds01 ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
# 添加ipvs规则
[root@ds01 ~]# ipvsadm -A -t 192.168.11.94:80 -s r
[root@ds01 ~]# ipvsadm -a -t 192.168.11.94:80 -r 192.168.2.200:80 -m
【公网ip】
[root@ds01 ~]# ipvsadm -a -t 192.168.11.94:80 -r 192.168.2.201:80 -m
【公网ip】
[root@ds01 ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.11.94:80 rr
-> 192.168.2.200:80 Masq 1 0 0
-> 192.168.2.201:80 Masq 1 0 0
# ip转发
[root@ds01 ~]# vim /etc/sysctl.conf
[root@ds01 ~]# sysctl -p
net.ipv4.ip_forward = 1
# 临时修改web1和web2的网关(重启后失效),网关必须真实主机(rs ip)指向dip(调度器的对内ip192.168.2.206),因为dip是作为网关存在的
[root@web1 ~]# yum -y install net-tools.x86_64
[root@web1 ~]# route del default
[root@web1 ~]# route add default gw 192.168.2.206
[root@web2 ~]# route del default
[root@web2 ~]# route add default gw 192.168.2.206
扩展:NAT模式的脚本
========ds脚本==========
#!/bin/bash
#配置网卡
echo TYPE="Ethernet" >> /etc/sysconfig/network
scripts/ifcfg-ens36
echo BOOTPROTO="none" >> /etc/sysconfig/network
scripts/ifcfg-ens36
read -p "router name:" router_name
echo NAME='"$rount_name"' >> /etc/sysconfig/network
scripts/ifcfg-ens36
uuidkey=$( uuidgen )
echo UUID='"$uuidkey"' >> /etc/sysconfig/network
scripts/ifcfg-ens36 >> /etc/sysconfig/network
scripts/ifcfg-ens36echo DEVICE='"$rount_name"' >> /etc/sysconfig/network
scripts/ifcfg-ens36
echo ONBOOT="yes" >> /etc/sysconfig/network-scripts/ifcfg
ens36
echo IPADDR=192.168.10.100 >> /etc/sysconfig/network
scripts/ifcfg-ens36
systemctl restart network
#安装ipvsadm
yum list installed|grep ipvsadm
if[ $? -ne 0 ];then
yum -y install ipvsadm
fi
#配置规则
read -p "vip:" vip
read -p "port:" port
read -p "rule:" s
ipvsadm -A -t $vip:$port -s $s
# ip forward
echo "net.ipv4.ip_forward=1" >/etc/sysctl.conf
sysctl -p
========rs脚本==========
#!/bin/bash
read -p "dip:" dip
# 设置网关
route del default
route add defualt gw $dip
DR模式的搭建实战
# 环境准备
- 主机准备:
主机名 | 功能 | |
dr(调度器) | Director-serrver,ntp | |
内网dr(192.168.2.207) | 外网vip(192.168.2.208) | |
web | Real-server | |
web1(192.168.2.200) | web2(192.168.2.201) |
2、说明:
1)优点:DR模式性能更优,回路不经过ds
2)为了解决ip地址不兼容问题,需给三台主机都配置vip,需弱化web1和web2两台主机的vip,保证客户端虽然广播式发送arp请求寻找vip,但只希望得到ds主机的响应,即需要对rs的vip进行抑制(将rs的vip绑定点lo回路网卡上),让ds的vip接收请求,rs的vip不接受请求。
3)ds和rs为了保证用户响应都要求配置统一的ip
4)由于rs是直接响应client,网关一定不能设置为ds的ip
# 在ds主机的ens33上挂一个vip(192.168.2.208)
[root@dr ~]# ifconfig ens33:0 192.168.2.208 broadcast 192.168.2.208 netmask 255.255.255.255 up
[root@dr ~]# ip a
.....
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
link/ether 00:0c:29:e4:c6:0b brd ff:ff:ff:ff:ff:ff
inet 192.168.2.207/24 brd 192.168.2.255 scope global noprefixroute ens33
【dip】
valid_lft forever preferred_lft forever
inet 192.168.2.208/32 brd 192.168.2.208 scope global ens33:0
【vip】,通用,此vip和rs上的vip相同
# 添加主机路由,保证其也能接收数据包
[root@dr ~]# route add -host 192.168.2.208 dev ens33:0
具体配置
======ds上的配置========
# 安装ipvsadm
[root@dr ~]# yum -y install ipvsadm.x86_64
[root@dr ~]# ipvsadm -Ln # 查看是否存在规则
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
[root@dr ~]# ipvsadm -C # 清空之前的规则
[root@dr ~]# ipvsadm -A -t 192.168.2.208:80 -s rr
[root@dr ~]# ipvsadm -a -t 192.168.2.208:80 -r 192.168.2.200:80 -g # -g 网关路由
【vip】 【web1】
[root@dr ~]# ipvsadm -a -t 192.168.2.208:80 -r 192.168.2.201:80 -g
【vip】 【web2】
# 设置规则
注意!!!:rs不再需要指定端口,dr不支持端口映射,vip上是80端口,-m nat -g gateway
======RS(web1、web2)上的配置========
# 在lo结构上挂载一个vip,编写配置文件(或编写脚本实现)抑制rs的vip接受请求
[root@web1 ~]# ifconfig lo:0 192.168.2.208 broadcast 192.168.2.208 netmask 255.255.255.255 up
# 设置主机路由
[root@web1 ~]# route add -host 192.168.2.208 dev lo:0
[root@web1 ~]# vim /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@web1 ~]# vim arp.sh
#!/bin/bash
ifconfig lo:0 192.168.2.208 broadcast 192.168.2.208 netmask 255.255.255.255 up
route add -host 192.168.2.208 dev lo:0
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
[root@web1 ~]# source arp.sh
# 生成脚本传给web2主机
[root@web1 ~]# ls
anaconda-ks.cfg arp_ignore~ arp.sh soft
[root@web1 ~]# scp arp.sh root@192.168.2.201:~
[root@web2 ~]# ls
anaconda-ks.cfg arp.sh soft
[root@web2 ~]# source arp.sh
# 启动nginx服务做测试查看状态,注意跟nat模式不同,不能直接在dr主机上使用curl http://192.168.2.208进行访问
[root@web1 ~]# nginx
[root@web1 ~]# curl 192.168.2.200
i am web1
[root@web2 ~]# nginx
[root@web2 ~]# curl 192.168.2.201
i am web2
[root@dr ~]# ipvsadm -Ln --stats
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Conns InPkts OutPkts InBytes OutBytes
-> RemoteAddress:Port
TCP 192.168.2.208:80 2 4 0 240 0
-> 192.168.2.200:80 1 2 0 120 0
-> 192.168.2.201:80 1 2 0 120 0
扩展:dr模式的脚本
========ds脚本==========
#!/bin/bash
#在ens33上挂载一个ip地址
read -p "vip:" vip
read -p "mac:" mac
read -p "num" num
ifconfig $mac:$num $vip broadcast $vip netmask
255.255.255.255
# 主机路由
route add -host $vip dev $mac:$num
#安装ipvsadm
yum list installed|grep ipvsadm
if [ $? -ne 0 ] ; then
yum -y install ipvsadm
fi
#配置规则(不需要设置ip_forword)
ipvsadm -C
read -p "rule:" rule
read -p "port:" port
ipvsadm -A -t $vip:$port -s $rule
read -p "rip1:" rip1
ipvsadm -a -t $vip:$port -r $rip1 -g
read -p "rip2:" rip2
ipvsadm -a -t $vip:$port -r $rip2 -g
========rs脚本==========
#!/bin/bash
#在ens33上挂载一个ip地址
read -p "vip:" vip
read -p "mac:" mac
read -p "num" num
ifconfig $mac:$num $vip broadcast $vip netmask
255.255.255.255
# 主机路由
route add -host $vip dev $mac:$num
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce