1.1 LVS群集应用基础
群集的称呼来自于英文单词“Cluster",表示一群、一串的意思,用在服务器领域则表示大量服务器的集合体,以区分于单个服务器。
1.1.1 群集技术概述
LVS(Linux Virtual Server)是Linux虚拟服务器的简称,是一个由章文嵩博士发起的自由软件项目。LVS工作在内核的TCP/IP协议栈上,采用IP负载均衡技术和基于内容请求分发技术,将请求均衡地转移到不同的服务器上执行,从而实现高性能、高可用的服务器集群。LVS已成为Linux标准内核的一部分,无需重新编译内核即可使用。
1.群集的类型
无论是哪种群集,都至少包括两台节点服务器,而对外表现为一个整体,只提供一个访问入口。根据群集所针对的目标差异,可分为以下三种类型。
- 负载均衡群集:以提高应用系统的响应能力、尽可能处理更多的访问请求、减少延迟为目标,获得高并发、高负载的整体性能
- 高可用群集;以提高应用系统的可靠性、尽可能地减少中断时间为目标,确保服务的连续性,达到高可用(H)的容错效果。
- 高性能运算群集:以提高应用系统的 CPU运算速度、扩展硬件资源和分析能力为目标,获得相当于大型、超级计算机的高性能运算(HPC)能力
2.负载均衡的分层结构
在典型的负载均衡群集中,包括三个层次的组件,如图1.1所示。前端至少有一个负载调度器(Load Balancer,或称为Director)负责响应并分发来自客户机的访问请求;后端由大量真实服务器(RealServer)构成服务器池(Server Pool),提供实际的应用服务,整个群集的伸缩性通过增加、删除服务器节点来完成,而这些过程对客户机是透明的;为了保持服务的一致性,所有节点使用共享存储设备。
1.负载调度器(Load Balancer)
- 位于集群的最前端,负责接收并分发来自客户端的请求。
- 使用虚拟IP(VIP)地址对外提供服务,作为集群的单一入口点。
- 安装有LVS模块和监控模块(如Ldirectord),用于监控Real Server的健康状况。
2.服务器池(Server Pool)
- 由一组实际运行应用服务的服务器组成(Real Server)。
- 每个Real Server具有独立的真实IP(RIP)地址,只处理由调度器分发过来的请求。
3.共享存储(Shared Storage)
- 为服务器池中的所有节点提供一致的文件存储服务,确保服务的一致性。
- 通常使用NAS设备、NFS或集群文件系统(如GFS、OCFS2)实现。
3.负载均衡的工作模式
关于群集的负载调度技术,可以基于IP、端口、内容等进行分发,其中基于IP的负载调度是效率最高的。基于IP的负载均衡模式中,常见的有地址转换、IP 隧道和直接路由三种工作模式,如图1.2所示。
- 地址转换(Network Address Translation):简称 NAT 模式,类似于防火墙的私有网络结构,负载调度器作为所有服务器节点的网关,即作为客户机的访问入口,也是各节点回应客户机的访问出口。服务器节点使用私有IP地址,与负载调度器位于同一个物理网络,安全性要优于其他两种方式。
- IP 隧道(IP Tunnel):简称TUN模式,采用开放式的网络结构,负载调度器仅作为客户机的访问入口,各节点通过各自的Internet连接直接回应客户机,而不再经过负载调度器。服务器节点分散在互联网中的不同位置,具有独立的公网IP地址,通过专用IP 隧道与负载调度器相互通信。
- 直接路由(Direct Routing):简称DR模式,采用半开放式的网络结构,与TUN模式的结构类似,但各节点并不是分散在各地,而是与调度器位于同一个物理网络。负载调度器与各节点服务器通过本地网络连接,不需要建立专用的IP隧道。
以上三种工作模式中,NAT方式只需要一个公网IP地址,从而成为最易用的一种负载均衡模式,安全性也比较好,许多硬件负载均衡设备就采用这种方式。
1.1.2 LVS虚拟服务器
Linux Virtual Server 是针对Linux 内核开发的一个负载均衡项目,由我国的章文嵩博士在 1998年5月创建,官方站点位于 http://www,linuxvirtualserver.org/。LVs 实际上相当于基于IP 地址的虚拟化应用,为基于 IP 地址和内容请求分发的负载均衡提出了一种高效的解决方法。
LVS 现在已成为Linux 内核的一部分,默认编译为ip_vs 模块,必要时能够自动调用。在 Cent0s 7系统中,以下操作可以手动加载 ip_vs 模块,并查看当前系统中 ip_vs 模块的版本信息。
1.LVS的负载调度算法
1. 轮询调度(Round-Robin Scheduling, RR)
- 特点:按顺序轮流分配请求到不同的服务器上,确保每台服务器接收到的请求数大致相同。
- 优点:简洁性,无需记录当前所有连接的状态,是一种无状态调度。
2. 加权轮询调度(Weighted Round-Robin Scheduling, WRR)
- 特点:根据后端服务器的处理能力给每台服务器分配不同的权值,权值越高的服务器接收到的请求数越多。
- 优点:能够更灵活地根据服务器性能进行负载均衡。
3. 最小连接调度(Least-Connection Scheduling, LC)
- 特点:动态地将新请求分发到当前连接数最少的服务器上,以平衡各服务器的负载。
- 优点:通过服务器当前所活跃的连接数来估计服务器的负载情况,实现更精确的负载均衡。
4. 加权最小连接调度(Weighted Least-Connection Scheduling, WLC)
- 特点:类似于最小连接算法,但考虑了服务器的权值,权值越高的服务器将承受更大比例的活动连接负载。
- 优点:在最小连接调度的基础上,增加了对服务器处理能力的考虑,使得负载均衡更加精细。
5. 基于局部性的最少链接(Locality-Based Least Connections Scheduling, LBLC)
- 特点:主要用于Cache集群系统,将相同目标IP地址的请求调度到同一台服务器,以提高缓存命中率和处理能力。
6. 带复制的基于局部性最少链接(Locality-Based Least Connections with Replication Scheduling, LBLCR)
- 特点:在LBLC的基础上,增加了服务器组的复制功能,以提高可用性和容错性。
7. 目标地址散列调度(Destination Hashing Scheduling, DH)
- 特点:根据请求的目标IP地址进行散列运算,将请求分配到相应的服务器上,适用于缓存服务器的负载均衡。
8. 源地址散列调度(Source Hashing Scheduling, SH)
- 特点:根据请求的源IP地址进行散列运算,将请求分配到同一台服务器上,以保证来自同一客户端的请求始终被同一台服务器处理。
2.使用ipsadm管理
工具ipvsadm 是在负载调度器上使用的LVS 群集管理工具,通过调用 ip_vs 模块来添加、删除服务器节点,以及查看群集的运行状态。在Cent0s7系统中,需要手动安装ipvsadm.x86 64 0:1.27-7.e17 软件包。
[root@localhost ~]# yum -y install ipvsadm
[root@localhost ~]# ipvsadm -v
ipvsadm v1.27 2008/5/15 (compiled with popt and IPVS v1.2.1)
[root@localhost ~]#
LVS 群集的管理工作主要包括创建虚拟服务器、添加服务器节点、查看群集节点状态、删除服务器节点和保存负载分配策略。下面分别展示使用ipvsadm命令的操作方法。
2.1:构建LVS负载均衡群集
2.1.1:地址转换模式(LVS-NAT)
1:实验环境:
2:配置负载调度器
[root@localhost ~]# setenforce 0
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# yum -y install ipvsadm
[root@localhost ~]# ipvsadm -v
ipvsadm v1.27 2008/5/15 (compiled with popt and IPVS v1.2.1)
[root@localhost ~]# vi /etc/sysctl.conf
net.ipv4.ip_forward = 1
[root@localhost ~]# sysctl -p
[root@localhost ~]# ipvsadm -C
[root@localhost ~]# ipvsadm -A -t 172.16.16.172:80 -s rr
[root@localhost ~]# ipvsadm -a -t 172.16.16.172:80 -r 192.168.10.102:80 -m -w 1
[root@localhost ~]# ipvsadm -a -t 172.16.16.172:80 -r 192.168.10.103:80 -m -w 1
[root@localhost ~]# ipvsadm-save
-A -t localhost.localdomain:http -s rr
-a -t localhost.localdomain:http -r 192.168.10.102:http -m -w 1
-a -t localhost.localdomain:http -r 192.168.10.103:http -m -w 1
[root@localhost ~]# systemctl enable ipvsadm
3:配置web节点服务器
(1)在两个web节点安装httpd,并创建测试页
[root@localhost ~]# yum -y install httpd
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# setenforce 0
[root@localhost ~]# yum -y install nfs-utils
[root@localhost ~]# vi /var/www/html/index.html
LVS test1
注意:
另一台web节点的测试页面可以修改为其他文字,这样在测试时,就可以看到调度效果
vi /var/www/html/index.html
LVS test2
(2)启动httpd服务
[root@localhost ~]# systemctl start httpd
[root@localhost ~]# systemctl enable httpd
4:测试LVS群集
客户端测试网站http://172.16.16.172
5:NFS共享存储服务
1:使用NFS发布共享资源
(1)安装nfs-utils、rpcbind软件包
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# setenforce 0
[root@localhost ~]# yum -y install nfs-utils rpcbind
[root@localhost ~]# systemctl enable nfs
[root@localhost ~]# systemctl enable rpcbind
(2)设置共享目录
[root@localhost ~]# mkdir -p /opt/wwwroot
[root@localhost ~]# vi /etc/exports
/opt/wwwroot 192.168.10.0/24(rw,sync,no_root_squash)
(3)启动NFS服务程序
[root@localhost ~]# systemctl start rpcbind
[root@localhost ~]# systemctl start nfs
(4)在web节点挂载nfs
[root@localhost ~]# yum -y install nfs-utils
[root@localhost ~]# mount -t nfs 192.168.10.105:/opt/wwwroot /var/www/html