Haproxy 高可用代理原理
简介
Haproxy是一个开源的高可用性负载均衡解决方案，提供基于TCP和HTTP的应用代理服务。它支持高并发连接，能够处理大量的请求，特别适合高负载站点和需要会话保持的应用场景。
主要特点
- 高可用性：HAProxy能够检测后端服务器的健康状况，如果某台服务器出现故障，HAProxy会自动将其从负载均衡池中移除，直到恢复正常后再重新加入，确保系统的持续稳定运行。
- 负载均衡：支持多种负载均衡算法，如轮询、最少连接等，能够根据服务器性能和请求特性合理分配负载。
- 性能卓越：HAProxy在网络层进行高效的数据转发，减少处理开销，适用于高流量的网站或应用1。
- 支持多种协议：支持TCP和HTTP协议层的负载均衡，功能丰富。
- 会话保持：通过客户端IP、Cookie或Session ID等方式保持会话，确保同一客户端的请求始终被转发到同一服务器。
- 监控和管理：拥有功能强大的监控页面，实时了解系统状态，支持基于ACL的规则配置。
应用场景
HAProxy适用于以下场景：
- 大型网站：通过负载均衡和会话保持功能，提高网站的可用性和响应速度。
- Web应用集群：在多个服务器之间分配负载，提高整体处理能力。
- 微服务架构：在微服务之间实现负载均衡和故障转移，确保服务的稳定性和可用性。
一、HAProxy 简介
-
官网：http://www.haproxy.com
-
HAProxy提供高可用性、负载均衡以及基于TCP和HTTP的应用代理，支持虚拟主机，它是免费、快速并且可靠的一种负载均衡解决方案。适合处理高负载站点的七层数据请求。类似的代理服务可以屏蔽内部真实服务器，防止内部服务器遭受攻击。
1、HAProxy 特点和优点
-
支持原生SSL,同时支持客户端和服务器的SSL. https
-
支持IPv6和UNIX套字节（sockets）
-
支持HTTP Keep-Alive
-
支持HTTP/1.1压缩，节省宽带
-
支持优化健康检测机制（SSL、scripted TCP、check agent...）
-
支持7层负载均衡。
-
可靠性和稳定性非常好。
-
并发连接40000-50000个，单位时间处理最大请求20000个，最大数据处理10Gbps.
-
支持8种负载均衡算法，同时支持session保持。
-
支持虚拟主机。
-
支持连接拒绝、全透明代理。
-
拥有服务器状态监控页面。
-
支持ACL.
2、HAProxy 保持会话
-
HAProxy为了让同一客户端访问服务器可以保持会话。有三种解决方法：客户端IP、Cookie以及Session 客户端的id
-
HAProxy通过客户端IP进行Hash计算并保存，以此确保当相同IP访问代理服务器可以转发给固定的真实服务器。
-
HAProxy依靠真实服务器发送客户端的Cookie信息进行会话保持。
-
HAProxy将保存真实服务器的Session以及服务器标识，实现会话保持。（HAProxy只要求后端服务器能够在网络联通，也没有像LVS那样繁琐的ARP配置）
-
3、HAProxy 负载均衡算法
-
HAProxy的balance8种负载均衡算法：
-
roundrobin : 基于权重轮循。
-
static-rr : 基于权重轮循。静态算法，运行时改变无法生效
-
source : 基于请求源IP的算法。对请求的源IP进行hash运算，然后将结果与后端服务器的权重总数想除后转发至某台匹配服务器。使同一IP客户端请求始终被转发到某特定的后端服务器。
-
leastconn : 最小连接。（适合数据库负载均衡，不适合会话短的环境）
-
uri : 对部分或整体URI进行hash运算，再与服务器的总权重想除，最后转发到匹配后端。 http://www.qf.com/aa/bb/a.html
-
uri_param : 根据URL路径中参数进行转发，保证在后端服务器数量不变的情况下，同一用户请求分发到同一机器。 /web /new
-
hdr() : 根据http头转发，如果不存在http头。则使用简单轮循。
-
4、HAProxy主要工作模式
-
tcp模式:该模式下，在客户端和服务器之间将建立一个全双工的连接，且不会对7层的报文做任何处理的简单模式。此模式默认，通常用于SSL、SSH、SMTP应用。
-
http模式（一般使用）：该模式下，客户端请求在转发给后端服务器之前会被深度分析，所有不与RFC格式兼容的请求都会被拒绝。
二、HAProxy 安装及配置文件参数
1、HAProxy 安装
[root@edenluo.com ~]# yum -y install haproxy
2、HAProxy 环境
-
haproxy 的配置文件通常分为三部分:
-
global（全局配置部分）
-
defaults（默认配置部分）
-
listen (应用组件部分)
-
1、 HAProxy 配置文件详解
[root@edenluo.com ~]# vim /etc/haproxy/haproxy.cfg
####################全局配置#######################
#######参数是进程级的，通常和操作系统（OS）相关#########
global
maxconn 20480 # 默认最大连接数
log 127.0.0.1 local0 # 日志输出配置，所有日志都记录在本机系统日志，通过local0输出
log 127.0.0.1 local1 notice # notice 为日志级别，通常有24个级别（error warring info debug）
chroot /var/haproxy # chroot运行的路径
uid 99 # 所属运行的用户uid
gid 99 # 所属运行的用户组
daemon # 以后台形式运行haproxy
nbproc 1 # 进程数量(可以设置多个进程提高性能)
pidfile /var/run/haproxy.pid # haproxy的pid存放路径,启动进程的用户必须有权限访问此文件
ulimit -n 65535 # ulimit的数量限制
#####################默认设置######################
##这些参数可以被利用配置到frontend，backend，listen组件##
defaults
log global
mode http # 所处理的类别 (#7层 http;4层tcp )
maxconn 20480 # 最大连接数
option httplog # 日志类别http日志格式
option httpclose # 每次请求完毕后主动关闭http通道
option dontlognull # 不记录健康检查的日志信息
option forwardfor # 如果后端服务器需要获得客户端真实ip需要配置的参数，可以从Http Header中获得客户端ip
option redispatch # serverId对应的服务器挂掉后,强制定向到其他健康的服务器
option abortonclose # 当服务器负载很高的时候，自动结束掉当前队列处理比较久的连接
stats refresh 30 # 统计页面刷新间隔
retries 3 # 3次连接失败就认为服务不可用，也可以通过后面设置
balance roundrobin # 默认的负载均衡的方式,轮询方式
#balance source # 默认的负载均衡的方式,类似nginx的ip_hash
#balance leastconn # 默认的负载均衡的方式,最小连接
contimeout 5000 # 连接超时
clitimeout 50000 # 客户端超时
srvtimeout 50000 # 服务器超时
timeout check 2000 # 心跳检测超时
####################监控页面的设置#######################
listen admin_status # Frontend和Backend的组合体,监控组的名称，按需自定义名称
bind 0.0.0.0:65532 # 监听端口
mode http # http的7层模式
log 127.0.0.1 local3 err # 错误日志记录
stats refresh 5s # 每隔5秒自动刷新监控页面
stats uri /admin?stats # 监控页面的url
stats realm itnihao\ itnihao # 监控页面的提示信息
stats auth admin:admin # 监控页面的用户和密码admin,可以设置多个用户名
stats auth admin1:admin1 # 监控页面的用户和密码admin1
stats hide-version # 隐藏统计页面上的HAproxy版本信息
stats admin if TRUE # 手工启用/禁用,后端服务器(haproxy-1.4.9以后版本) 只要登录就能获得管理权限
errorfile 403 /etc/haproxy/errorfiles/403.http
errorfile 500 /etc/haproxy/errorfiles/500.http
errorfile 502 /etc/haproxy/errorfiles/502.http
errorfile 503 /etc/haproxy/errorfiles/503.http
errorfile 504 /etc/haproxy/errorfiles/504.http
#################HAProxy的日志记录内容设置###################
capture request header Host len 40
capture request header Content-Length len 10
capture request header Referer len 200
capture response header Server len 40
capture response header Cache-Control len 8
#######################网站监测listen配置#####################
###########此用法主要是监控haproxy后端服务器的监控状态############
listen site_status
bind 0.0.0.0:1081 # 监听端口
mode http # http的7层模式
log 127.0.0.1 local3 err # [err warning info debug]
monitor-uri /site_status # 网站健康检测URL，用来检测HAProxy管理的网站是否可以用，正常返回200，不正常返回503
acl site_dead nbsrv(server_web) lt 2 # 定义网站down时的策略当挂在负载均衡上的指定backend的中有效机器数小于1台时返回true
acl site_dead nbsrv(server_blog) lt 2
acl site_dead nbsrv(server_bbs) lt 2
monitor fail if site_dead # 当满足策略的时候返回503，网上文档说的是500，实际测试为503
monitor-net 192.168.16.2/32 # 来自192.168.16.2的日志信息不会被记录和转发
monitor-net 192.168.16.3/32
######################frontend配置#########################
#####注意，frontend配置里面可以定义多个acl进行匹配操作###########
frontend http_80_in
bind 0.0.0.0:80 # 监听端口，即haproxy提供web服务的端口，和lvs的vip端口类似
mode http # http的7层模式
log global # 应用全局的日志配置
option httplog # 启用http的log
option httpclose # 每次请求完毕后主动关闭http通道，HA-Proxy不支持keep-alive模式
option forwardfor # 如果后端服务器需要获得客户端的真实IP需要配置次参数，将可以从Http Header中获得客户端IP
########################acl策略配置########################
acl itnihao_web hdr_reg(host) -i ^(www.itnihao.cn|ww1.itnihao.cn)$
# 如果请求的域名满足正则表达式中的2个域名返回true -i是忽略大小写
acl itnihao_blog hdr_dom(host) -i blog.itnihao.cn
# 如果请求的域名满足www.itnihao.cn返回true -i是忽略大小写
# acl itnihao hdr(host) -i itnihao.cn
# 如果请求的域名满足itnihao.cn返回true -i是忽略大小写
# acl file_req url_sub -i killall=
# 在请求url中包含killall=，则此控制策略返回true,否则为false
# acl dir_req url_dir -i allow
# 在请求url中存在allow作为部分地址路径，则此控制策略返回true,否则返回false
# acl missing_cl hdr_cnt(Content-length) eq 0
# 当请求的header中Content-length等于0时返回true
##########################acl策略匹配相应##################
# block if missing_cl
# 当请求中header中Content-length等于0阻止请求返回403
# block if !file_req || dir_req
# block表示阻止请求，返回403错误，当前表示如果不满足策略file_req，或者满足策略dir_req，则阻止请求
use_backend server_web if itnihao_web
# 当满足itnihao_web的策略时使用server_web的backend
use_backend server_blog if itnihao_blog
# 当满足itnihao_blog的策略时使用server_blog的backend
# redirect prefix http://blog.itniaho.cn code 301 if itnihao
# 当访问itnihao.cn的时候，用http的301挑转到http://192.168.16.3
default_backend server_bbs
# 以上都不满足的时候使用默认server_bbs的backend
########################backend的设置####################
#下面我将设置三组服务器 server_web，server_blog，server_bbs
###########################backend server_web#############################
backend server_web
mode http # http的7层模式
balance roundrobin # 负载均衡的方式，roundrobin平均方式
cookie SERVERID # 允许插入serverid到cookie中，serverid后面可以定义
option httpchk GET /index.html # 心跳检测的文件
server web1 192.168.16.2:80 cookie web1 check inter 1500 rise 3 fall 3 weight 1
# 服务器定义，cookie 1表示serverid为web1，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用，
# fall 3是3次失败认为服务器不可用，weight代表权重
server web2 192.168.16.3:80 cookie web2 check inter 1500 rise 3 fall 3 weight 2
# 服务器定义，cookie 1表示serverid为web2，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用，
# fall 3是3次失败认为服务器不可用，weight代表权重
###################################backend server_blog###############################################
backend server_blog
mode http # http的7层模式
balance roundrobin # 负载均衡的方式，roundrobin平均方式
cookie SERVERID # 允许插入serverid到cookie中，serverid后面可以定义
option httpchk GET /index.html # 心跳检测的文件
server blog1 192.168.16.2:80 cookie blog1 check inter 1500 rise 3 fall 3 weight 1
# 服务器定义，cookie 1表示serverid为web1，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用，fall 3是3次失败认为服务器不可用，weight代表权重
server blog2 192.168.16.3:80 cookie blog2 check inter 1500 rise 3 fall 3 weight 2
# 服务器定义，cookie 1表示serverid为web2，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用，fall 3是3次失败认为服务器不可用，weight代表权重
###################################backend server_bbs###############################################
backend server_bbs
mode http # http的7层模式
balance roundrobin # 负载均衡的方式，roundrobin平均方式
cookie SERVERID # 允许插入serverid到cookie中，serverid后面可以定义
option httpchk GET /index.html # 心跳检测的文件
server bbs1 192.168.16.2:80 cookie bbs1 check inter 1500 rise 3 fall 3 weight 1
# 服务器定义，cookie 1表示serverid为web1，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用，fall 3是3次失败认为服务器不可用，weight代表权重
server bbs2 192.168.16.3:80 cookie bbs2 check inter 1500 rise 3 fall 3 weight 2
# 服务器定义，cookie 1表示serverid为web2，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用，fall 3是3次失败认为服务器不可用，weight代表权重
三、Haproxy 实现七层负载
1、拓扑结构
2、调度器配置 Haproxy
[root@haproxy-lb1 ~]# /etc/haproxy/haproxy.cfg
global
log 127.0.0.1 local2
chroot /var/lib/haproxy
pidfile /var/run/haproxy.pid
maxconn 4000
user haproxy
group haproxy
daemon
defaults
mode http
log global
option dontlognull
retries 3
maxconn 3000
timeout connect 50000
timeout client 50000
timeout server 50000
listen stats
bind *:1314
stats enable
stats hide-version
stats uri /haproxystats
stats realm Haproxy\ stats
stats auth admin:admin
stats admin if TRUE
frontend web
option httplog
option http-server-close
option forwardfor except 127.0.0.0/8
#option redispatch
mode http
bind *:80
default_backend httpservers
backend httpservers
balance roundrobin
server http1 192.168.152.156:80 check maxconn 2000
server http2 192.168.152.157:80 check maxconn 2000
3、登录 web 监控页面查看状态
4、HAProxy 监控页面参数解释
1、服务状态说明
-
pid = 3698 (process #2, nbproc = 2, nbthread = 2) # pid为当前pid号，process为当前进程号，nbproc和nbthread为一共多少进程和每个进程多少个线程
-
uptime = 0d 0h00m08s # 启动了多长时间
-
system limits: memmax = unlimited; ulimit-n = 131124 # 系统资源限制：内存/最大打开文件数/
-
maxsock = 131124; maxconn = 65536; maxpipes = 0 # 最大socket连接数/单进程最大连接数/最大管道数maxpipes
-
current conns = 1; current pipes = 0/0; conn rate = 1/sec # 当前连接数/当前管道数/当前连接速率
-
Running tasks: 1/9; idle = 100 % # 运行的任务/当前空闲率
-
active UP： # 在线服务器 backup UP： # 标记为backup的服务器
-
active UP, going down： # 监测未通过正在进入down过程 backup UP, going down： # 备份服务器正在进入down过程
-
active DOWN, going up： # down的服务器正在进入up过程 backup DOWN, going up：# 备份服务器正在进入up过程
-
active or backup DOWN： # 在线的服务器或者是backup的服务器已经转换成了down状态 not checked：# 标记为不监测的服务器
-
active or backup DOWN for maintenance (MAINT) #active或者backup服务器认为下线的
-
active or backup SOFT STOPPED for maintenance #active或者backup被认为软下线(人为将weight改成0)
2、前后端状态说明
1、Queue（队列信息）
-
Cur: current queued requests # 当前的队列请求数量
-
Max：max queued requests # 最大的队列请求数量
-
Limit：sessions limit # 队列限制数量
2、Session rate(每秒的连接会信息)
-
scur: current sessions # 每秒的当前回话的限制数量
-
smax: max sessions # 每秒的新的最大的会话量
-
slim: sessions limit # 每秒的新会话的限制数量
2、Sessions（会话信息）
-
Total: # 总共会话量
-
Cur: # 当前的会话
-
Max: # 最大会话
-
Limit: # 会话限制
-
Lbtot: total number of times a server was selected # 选中一台服务器所用的总时间
3、Bytes（流量统计信息）
-
In： # 网络的字节数输入总量
-
Out： # 网络的字节数输出总量
4、Denied（拒绝统计信息）
-
Req: denied requests # 拒绝请求量
-
Resp：denied responses # 拒绝回应
5、Errors （错误统计信息）
-
Req：request errors # 错误请求
-
Conn：connection errors # 错误的连接
-
Resp: response errors (among which srv_abrt) # 错误的回应
6、Warnings （警告统计信息）
-
Retr: retries (warning) # 重新尝试
-
Redis：redispatches (warning) # 再次发送
7、Server （real server信息）
-
Status: 后端机器状态，包括up(后端机活动)和down(后端机挂掉)两种状态
-
LastChk: 持续检查后端服务器的时间
-
Wght: (weight) : 权重
-
Act: server is active (server), number of active servers (backend) # 活动链接数量
-
Bck: server is backup (server), number of backup servers (backend) # 备份的服务器数量
-
Chk: 心跳检测时间
-
Down：后端服务器连接后都是down的数量
-
Downtime: downtime: total downtime (in seconds) # 总的downtime 时间
-
Throttle: warm up status # server 的状态
