【Haproxy 搭建Web 群集】

news2024/11/17 7:19:29

目录

  • 一、Haoroxy 基础了解
    • 1、常见的Web集群调度器
    • 2、Haproxy 应用分析
  • 二、Haproxy 调度算法原理
  • 三、HAProxy的主要特性
  • 四、HAProxy负载均衡策略
  • 五、LVS、Nginx、HAproxy的区别
    • 1、Nginx的优点,缺点
    • 2、LVS的优点和缺点
    • 3、HAProxy的优点
  • 六、Haproxy搭建 Web 群集实验
    • 1、Haproxy 服务器部署
    • 2、节点服务器设置
    • 3、为 rsyslog 添加 haproxy 日志的配置

一、Haoroxy 基础了解

HAProxy是可提供高可用性、负载均衡以及基于TCP和HTTP应用的代理,是免费、快速并且可靠的一种解决方案。HAProxy非常适用于并发大(并发达1w以上)web站点,这些站点通常又需要会话保持或七层处理。HAProxy的运行模式使得它可以很简单安全的整合至当前的架构中,同时可以保护web服务器不被暴露到网络上。

1、常见的Web集群调度器

目前常见的Web 集群调度器分为软件和硬件

软件通常使用开源的LVS、Haproxy、Nginx

LVS 性能最好,但是搭建相对复杂;Nginx 的 upstream模块支持群集功能,但是对群集节点健康检查功能不强,高并发性能没有 Haproxy好。

硬件一般使用比较多的是F5、Array,也有很多人使用国内的一些产品,如梭子鱼、绿盟等
在这里插入图片描述

2、Haproxy 应用分析

LVS在企业应用中抗负载能力很强,但存在不足

·LVS不支持正则处理,不能实现动静分离
·对于大型网站,LVS的实施配置复杂,维护成本相对较高

Haproxy是一款可提供高可用性、负载均衡、及基于TCP和HTTP应用的代理的软件

·适用于负载大的Web站点
·运行在硬件上可支持数以万计的并发连接的连接请求

二、Haproxy 调度算法原理

Haproxy支持多种调度算法,最常用的有三种

1、RR

·RR算法是最简单最常用的一种算法,即轮询调度

·理解举例

有三个节点A、B、C
第一个用户访问会被指派到节点A
第二个用户访问会被指派到节点B
第三个用户访问会被指派到节点C
第四个用户访问继续指派到节点A,轮询分配访问请求实现负载均衡效果

2、LC (Least Connections)

·最小连接数算法,根据后端的节点连接数大小动态分配前端请求

·理解举例

有三个节点A、B、C,备节点的连接数分别为A:4、B:5、C:6

第一个用户连接请求,会被指派到A上,连接数变为A:5、B:5、C:6

第二个用户请求会继续分配到A上,连接数变为A:6、B:5、C:6;再有新的请求会分配给B,每次将新的请求指派给连接数最小的客户端

由于实际情况下A、B、C的连接数会动态释放,很难会出现一样连接数的情况

此算法相比较rr算法有很大改进,是目前用到比较多的一种算法

3、SH (Source Hashing)

·基于来源访问调度算法,用于一些有Session会话记录在服务器端的场景,可以基于来源的IP、Cookie等做集群调度

·理解举例

有三个节点A、B、C,第一个用户第一次访问被指派到了A ,第二个用户第一次访问被指派到了B

当第一个用户第二次访问时会被继续指派到A,第二个用户第二次访问时依旧会被指派到B,只要负载均衡调度器不重启,第一个用户访问都会被指派到A,第二个用户访问都会被指派到B,实现集群的调度

此调度算法好处是实现会话保持,但某些IP访问量非常大时会引起负载不均衡部分节点访问量超大,影响业务使用

三、HAProxy的主要特性

●可靠性和稳定性非常好,可以与硬件级的F5负载均衡设备相媲美;

●最高可以同时维护40000-50000个并发连接,单位时间内处理的最大请求数为20000个,最大处理能力可达10Git/s;

●支持多达8种负载均衡算法

●支持Session会话保持,Cookie的引导;

●支持通过获取指定的url来检测后端服务器的状态;

●支持虚机主机功能,从而实现web负载均衡更加灵活;

●支持连接拒绝、全透明代理等独特的功能;

●拥有强大的ACL支持,用于访问控制;

●支持TCP和HTTP协议的负载均衡转发

●支持客户端的keepalive功能,减少客户端与haproxy的多次三次握手导致资源浪费,让多个请求在一个tcp连接中完成

四、HAProxy负载均衡策略

HAProxy负载均衡策略非常多,常见的有如下8种:

(1)roundrobin,表示简单的轮询

(2)static-rr,表示根据权重

(3)leastconn,表示最少连接者先处理

(4)source,表示根据请求源IP

(5)uri,表示根据请求的URI,做cdn需使用;

(6)url_param,表示根据请求的URl参数'balance url_param' requires an URL parameter name

(7)hdr(name),表示根据HTTP请求头来锁定每一次HTTP请求;

(8)rdp-cookie(name),表示根据cookie(name)来锁定并哈希每一次TCP请求。

五、LVS、Nginx、HAproxy的区别

1、Nginx的优点,缺点

Nginx 的优点

●工作在网络的7层之上,可以针对http应用做一些分流的策略,比如针对域名、目录结构。Nginx正则规则比HAProxy更为强大和灵活。

●Nginx对网络稳定性的依赖非常小,理论上能ping通就就能进行负载功能,LVS对网络稳定性依赖比较大,稳定要求相对更高。

●Nginx安装和配置、测试比较简单、方便,有清晰的日志用于排查和管理,LVS的配置、测试就要花比较长的时间了。

●可以承担高负载压力且稳定,一般能支撑几万次的并发量,负载度比LVS相对小些。

●Nginx可以通过端口检测到服务器内部的故障,比如根据服务器处理网页返回的状态码、超时等等。

●Nginx不仅仅是一款优秀的负载均衡器/反向代理软件,它同时也是功能强大的Web应用服务器。

●Nginx作为Web反向加速缓存越来越成熟了,速度比传统的Squid服务器更快,很多场景下都将其作为反向代理加速器。

●Nginx作为静态网页和图片服务器,这方面的性能非常优秀,同时第三方模块也很多。

Nginx的缺点

●Nginx仅能支持http、https和Email协议,这样就在适用范围上面小些。

●对后端服务器的健康检查,只支持通过端口来检测,不支持通过url来检测。

●不支持Session的直接保持,需要通过ip_hash和cookie的引导来解决。

2、LVS的优点和缺点

LVS的优点

●抗负载能力强、是工作在网络4层之上仅作分发之用,没有流量的产生。因此负载均衡软件里的性能最强的,对内存和cpu资源消耗比较低。

●LVS工作稳定,因为其本身抗负载能力很强,自身有完整的双机热备方案。

●无流量,LVS只分发请求,而流量并不从它本身出去,这点保证了均衡器IO的性能不会收到大流量的影响。

●应用范围较广,因为LVS工作在4层,所以它几乎可对所有应用做负载均衡,包括http、数据库等。

LVS 的缺点

●软件本身不支持正则表达式处理,不能做动静分离。相对来说,Nginx/HAProxy+Keepalived则具有明显的优势。

●如果是网站应用比较庞大的话,LVS/DR+Keepalived实施起来就比较复杂了。相对来说,Nginx/HAProxy+Keepalived就简单多了。

3、HAProxy的优点

●HAProxy也是支持虚拟主机的。

●HAProxy支持8种负载均衡策略。

●HAProxy的优点能够补充Nginx的一些缺点,比如支持Session的保持,Cookie的引导,同时支持通过获取指定的url来检测后端服务器的状态。

●HAProxy跟LVS类似,本身就只是一款负载均衡软件,单纯从效率上来讲HAProxy会比Nginx有更出色的负载均衡速度,在并发处理上也是优于Nginx的。

●HAProxy支持TCP协议的负载均衡转发。

六、Haproxy搭建 Web 群集实验

Haproxy服务器:192.168.102.30
Nginx 服务器1:192.168.102.10
Nginx 服务器2:192.168.102.20
客户端:192.168.102.188

1、Haproxy 服务器部署

1.关闭防火墙,将安装Haproxy所需软件包传到/opt目录下

systemctl stop firewalld
setenforce 0

2.安装 Haproxy

yum安装

yum install -y haproxy

HAProxy 的配置文件共有 5 个域

●global:用于配置全局参数

●default:用于配置所有frontend和backend的默认属性

●frontend:用于配置前端服务(即HAProxy自身提供的服务)实例

●backend:用于配置后端服务(即HAProxy后面接的服务)实例组

●listen:frontend + backend的组合配置,可以理解成更简洁的配置方法,frontend域和backend域中所有的配置都可以配置在listen域下

进入 /etc/haproxy

vim haproxy.cfg

在这里插入图片描述在这里插入图片描述
在这里插入图片描述

global		#全局配置,主要用于定义全局参数,属于进程级的配置,通常和操作系统配置有关
    #将info(及以上)的日志发送到rsyslog的local0接口,将warning(及以上)的日志发送到rsyslog的local1接口
    log 127.0.0.1 local0 info
    log 127.0.0.1 local1 warning	
	
    maxconn 30000			            #最大连接数,HAProxy 要求系统的 ulimit -n 参数大于 maxconn*2+18

    #chroot /var/lib/haproxy            #修改haproxy工作目录至指定目录,一般需将此行注释掉
    pidfile     /var/run/haproxy.pid    #指定保存HAProxy进程号的文件
    user haproxy            #以指定的用户名身份运行haproxy进程
    group haproxy           #以指定的组名运行haproxy,以免因权限问题带来风险
    daemon					#让haproxy以守护进程的方式工作于后台
    #nbproc 1				#指定启动的haproxy进程个数,只能用于守护进程模式的haproxy,默认只启动一个进程。haproxy是单进程、事件驱动模型的软件,单进程下工作效率已经非常好,不建议开启多进程
    spread-checks 2         #在haproxy后端有着众多服务器的场景中,在精确的时间间隔后统一对众服务器进行健康状况检查可能会带来意外问题;此选项用于将其检查的时间间隔长度上增加或减小一定的随机时长;默认为0,官方建议设置为2到5之间。

defaults   	#配置默认参数,这些参数可以被用到listen,frontend,backend组件     
    log     global			#所有前端都默认使用global中的日志配置
    mode    http			#模式为http(7层代理http,4层代理tcp)
    option  http-keep-alive #使用keepAlive连接,后端为静态建议使用http-keep-alive,后端为动态应用程序建议使用http-server-close
    option  forwardfor      #记录客户端IP在X-Forwarded-For头域中,haproxy将在发往后端的请求中加上"X-Forwarded-For"首部字段
    option  httplog			#开启httplog,在日志中记录http请求、session信息等。http模式时开启httplog,tcp模式时开启tcplog
    option  dontlognull		#不在日志中记录空连接
    option  redispatch		#当某后端down掉使得haproxy无法转发携带cookie的请求到该后端时,将其转发到别的后端上
    option  abortonclose    #当服务器负载很高的时候,自动结束掉当前队列处理比较久的链接
    maxconn 20000			#最大连接数,“defaults”中的值不能超过“global”段中的定义
    retries 3               #定义连接后端服务器的失败重连次数,连接失败次数超过此值后会将对应后端服务器标记为不可用
    #contimeout 5000        #设置连接超时时间,默认单位是毫秒
    #clitimeout 50000       #设置客户端超时时间,默认单位是毫秒
    #srvtimeout 50000       #设置服务器超时时间,默认单位是毫秒
    timeout http-request 2s 	#默认http请求超时时间,此为等待客户端发送完整请求的最大时长,用于避免类DoS攻击。haproxy总是要求一次请求或响应全部发送完成后才会处理、转发
    timeout queue 3s   	    #默认客户端请求在队列中的最大时长
    timeout connect 1s		#默认haproxy和服务端建立连接的最大时长,新版本中替代contimeout,该参数向后兼容
    timeout client 10s		#默认和客户端保持空闲连接的超时时长,在高并发下可稍微短一点,可设置为10秒以尽快释放连接,新版本中替代clitimeout
    timeout server 2s		#默认和服务端保持空闲连接的超时时长,局域网内建立连接很快,所以尽量设置短一些,特别是高并发时,新版本中替代srvtimeout
    timeout http-keep-alive 10s		#默认和客户端保持长连接的最大时长。优先级高于timeout http-request 也高于timeout client
    timeout check 2s		#和后端服务器成功建立连接后到最终完成检查的最大时长(不包括建立连接的时间,只是读取到检查结果的时长)

frontend http-in    #定义前端域
    bind *:80                        #设置监听地址和端口,指定为*或0.0.0.0时,将监听当前系统的所有IPv4地址
    maxconn 18000                    #定义此端口上的maxconn
	
    acl url_static1   path_beg  -i /static /images                          #定义ACL,当uri以定义的路径开头时,ACL[url_static1]为true
    acl url_static2   path_end  -i .jpg .jpeg .gif .png .html .htm .txt     #定义ACL,当uri以定义的路径结尾时,ACL[url_static2]为true

    use_backend ms1 if url_static1       #当[url_static1]为true时,定向到后端域ms1中
    use_backend ms2 if url_static2       #当[url_static2]为true时,定向到后端域ms2中
    default_backend dynamic_group        #其他情况时,定向到后端域dynamic_group中

backend ms1    #定义后端域ms1
    balance            roundrobin        #使用轮询算法
    option httpchk     GET /test.html   #表示基于http协议来做健康状况检查,只有返回状态码为2xx或3xx的才认为是健康的,其余所有状态码都认为不健康。不设置该选项时,默认采用tcp做健康检查,只要能建立tcp就表示健康。
    server ms1.inst1 192.168.102.10:80 maxconn 5000 check inter 2000 rise 2 fall 3
    server ms1.inst2 192.168.102.20:81 maxconn 5000 check        #同上,inter 2000 rise 2 fall 3是默认值,可以省略

backend ms2    #定义后端域ms2
    balance roundrobin
    option httpchk     GET /test.html
    server ms2.inst1 192.168.102.10:80 maxconn 5000 check
    server ms2.inst2 192.168.102.20:81 maxconn 5000 check

backend dynamic_group    #定义后端域dynamic_group
    balance roundrobin
    option http-server-close
    cookie HA_STICKY_dy insert indirect nocache    
    server appsrv1 192.168.102.10:8080 cookie appsrv1 maxconn 5000 check
    server appsrv2 192.168.102.20:8080 cookie appsrv2 maxconn 5000 check

listen stats    #定义监控页面
    bind *:1080                   #绑定端口1080
    stats enable                  #启用统计报告监控
    stats refresh 30s             #每30秒更新监控数据
    stats uri /stats              #访问监控页面的uri
    stats realm HAProxy\ Stats    #监控页面的认证提示
    stats auth admin:admin        #监控页面的用户名和密码

修改完配置文件后开启服务

systemctl start haproxy.service
systemctl status haproxy.service

在这里插入图片描述

2、节点服务器设置

在节点服务器1 上设置网页页面
在这里插入图片描述

在节点服务器2 设置网页的页面
在这里插入图片描述

使用浏览器进行访问验证
在这里插入图片描述

创建动态页面

使用节点1 创建一个动态页面
在这里插入图片描述

使用节点2 创建一个动态页面
在这里插入图片描述

使用浏览器进行查验
在这里插入图片描述

在 Haproxy 的配置文件里添加 监控页面
在这里插入图片描述

输入账号密码进入
在这里插入图片描述

输入账号和密码后就可以监视健康页面
在这里插入图片描述

3、为 rsyslog 添加 haproxy 日志的配置

mkdir /var/log/haproxy
vim /etc/rsyslog.d/haproxy.conf
$ModLoad imudp
$UDPServerRun 514
$FileCreateMode 0644                               #日志文件的权限
$FileOwner haproxy                                 #日志文件的owner
ocal1.* /var/log/haproxy/haproxy_error.log         #local0接口对应的日志输出文件
local0.* /var/log/haproxy/haproxy_info.log          #local1接口对应的日志输出文件

修改 rsyslog 的启动参数

vim /etc/sysconfig/rsyslog
SYSLOGD_OPTIONS="-c 2 -r -m 0"

重启 rsyslog 和 HAProxy

service rsyslog restart
service haproxy restart

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/642253.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

跟着LearnOpenGL学习8--摄像机

文章目录 一、前言二、摄像机/观察空间2.1、摄像机位置2.2、摄像机方向2.3、右轴2.4、上轴2.5、LookAt2.6、LookAt测试 三、自由移动3.1、移动速度 四、视角移动4.1、欧拉角 五、鼠标输入5.1、缩放 六、摄像机类 一、前言 前面的教程中我们讨论了观察矩阵以及如何使用观察矩阵…

【软考系统架构师】进程与线程、并发和并行的理解

进程和线程的概念是软考里经常出现的概念,也是计算机领域的基础概念之一,看到一套非常形象的进程和线程的解释,记录一下 CPU 相当于一个工厂的能源核心,它一直运行,并向外提供动力。 什么是进程 但是这家工厂资金有限&…

A*算法与八数码问题(numpy)

努力是为了不平庸~ 学习的最大理由是想摆脱平庸,早一天就多一份人生的精彩;迟一天就多一天平庸的困扰。 目录 一、引言 二、思路 1. 确定问题和目标: 2. 确定算法和数据结构: 3. 编写代码框架 4. 实现辅助函数&#xff1…

CreateML 使用以及机器学习基础概念

1. 前言 在学习 CreateML 之前,我们先了解一下什么是机器学习?目前还不存在被广泛认可的定义来准确定义机器学习是什么。第一个机器学习的定义来自于Arthur Samuel。他定义机器学习为,在进行特定编程的情况下,给予计算机学习能力…

C语言-类型转换

数据有不同的类型,不同类型数据之间进行混合运算时必然涉及到类型的转换问题. 转换的方法有两种: 自动转换: 遵循一定的规则,由编译系统自动完成. 强制类型转换: 把表达式的运算结果强制转换成所需的数据类型 1 自动转换 自动转换原则 …

阿里人手一本的Java性能调优手册,几乎涵盖了性能优化的所有操作

说起性能调优,想必大家都知道,但是就是没怎么用过,所以在Java性能优化上面临着很多的困扰,比如: 能力修炼中,由于常年接触 CRUD,缺乏高并发这一实践环境,对“性能优化”只能通过理论…

剑指 Offer 59 - I: 滑动窗口的最大值

第一眼看这个感觉思路没啥大问题,就是一个大循环不断后移,然后小循环维护一个k长度的队列。注意peekFirst和peekLast的使用,双端队列可以打破先进先出或者先进后出的局限性,因此peek没有默认值,得加上First或者Last来进…

干货 | 腾讯云李滨:云时代数据安全治理方法与实践

作者:李滨‍‍‍‍本文约2600字,建议阅读8分钟 本文与你分享腾旭在数据安全和人工智能的安全治理方法,以及实践上的一些经验。 今天很荣幸与大家分享在过去几年以内,腾讯在数据安全和人工智能的安全治理方法,以及实践上…

使用服务器的妙妙工具

为什么使用服务器? 一台电脑的性能终究是有限的,所以当计算量太大时,我们可以借助服务器,它的运算速度快,存储空间大。 和个人电脑不同,服务器通常由一个管理员进行管理,而有多用户同时使用。…

一行代码实现网页直接跳转抖音,2023年6月新方法

之前 发的文章 方法已经失效,以下为新版本方案! 背景 大家可能都发现在一些APP中无法直接打开抖音的链接,就连抖音官方的分享链接在浏览器打开都无法直接唤醒APP。需要我们手动点击,如果我们在自己网站等推广希望直接拉起抖音可…

工厂方法模式(五)

过气的,终究是过气了 上一章简单介绍了工厂模式(四), 如果没有看过,请观看上一章 一.工厂方法模式 工厂方法模式,通过定义工厂父类负责定义创建对象的公共接口,而子类则负责生成具体的对象。 将类的实例化(具体产品的创建&…

全网最火爆,性能测试基本原则方法总结,再不卷就被淘汰了...

目录:导读 前言一、Python编程入门到精通二、接口自动化项目实战三、Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结(尾部小惊喜) 前言 性能测试关键点 …

2023 年牛客网最新版大厂 Java 八股文面试题总结(覆盖所有面试题考点)

序员真的是需要将终生学习贯彻到底的职业,一旦停止学习,离被淘汰,也就不远了。 金九银十跳槽季,这是一个千年不变的话题,每到这个时候,很多人都会临阵磨枪,相信不快也光。于是,大家…

什么是Vue的数据流(单向数据流)?如何进行数据流管理

什么是Vue的数据流(单向数据流)?如何进行数据流管理 在Vue中,数据流是指数据的传递和管理方式。Vue采用的是单向数据流,也就是说,数据是从父组件流向子组件,子组件不能直接修改父组件的数据。本…

夏季来临居民如何预防电气火灾隐患

安科瑞虞佳豪 居住场所预防电气火患 请注意以下几点 1.用具有生产许可证或CCC证书并与居住场所的环境相适应的电气线路以及插座、插线板、充电器、用电设备等电器产品; 2.不私自拉接电气线路;不随意更改电气线路保护装置; 3.不随意更换原…

泛娱乐社交(一)直播产品商业化解决方案

摘要 在过去几年的直播行业创业风口期中,直播的用户关注度疯狂增长,但用户质量却参差不齐。随着用户新鲜感一过,流失率变得相当严重,各大平台都在竭尽全力防御。然而,留住“凑热闹”的非直播受众用户并不是最关键的问…

SpringBoot(基础篇)

SpringBoot基础篇 入门案例 在创建SpringBoot项目时,会出现以下不需要的文件,如果每次都手动删除的话,就会很麻烦。 教你一招 在setting设置中找到Editor,选择File Types–>Ignored Files and Folders–>点击号&#xff…

pycharm使用之torch_geometric安装

正式安装之前要先查看一下torch的版本 一、查看torch版本 1、winR ,输入cmd 2、输入python 3、 输入import torch,然后输入torch.__version__,最后回车 可以看到我的torch版本是1.10.0 二、下载合适的版本 1、打开链接 https://pytorch-…

千万级入口服务[Gateway]框架设计(一)

本文将以技术调研模式编写,非技术同学可跳过。 文章目录 背景问题[不涉及具体业务]目标技术选型语言框架模式实现一:go 原生组件Demo 实现Benchwork 基准性能小结实现二:开源 go-plugin 附录入口服务演变 背景 在历史架构的迭代中&#xff…

Elasticsearch:部署 ELSER - Elastic Learned Sparse EncoderR

警告:此功能处于技术预览阶段,可能会在未来的版本中更改或删除。 Elastic 将尽最大努力修复任何问题,但技术预览中的功能不受官方 GA 功能的支持 SLA 约束。 Elastic Learned Sparse EncodeR - 或 ELSER - 是由 Elastic 训练的检索模型&#…