Web服务器群集:使用Haproxy搭建Web集群

news2024/12/23 12:24:46

目录

一、理论

1.Haproxy集群

2.常见的web集群调度器

3.三种web集群调度器的区别

4.下载安装

二、部署Haproxy集群

1.部署

2.重新定义Haproxy集群的日志

三、实验

1.部署Haproxy集群

四、问题

1.nginx编译安装与yum安装的网页配置路径

五、总结


一、理论

1.Haproxy集群

(1)概述

haproxv足一个使用C语言编写的自由及开放源代码软件,共提供高可用性、负载均衡,以及基于TCP和HTTP的应用程序代理。haproxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理。

HAProxv运行在当前的硬件上,完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中,同时可以保护你的web服务器不被暴露到网络上。

HAProxy实现了一种事件驱动,单一进程模型,此模型支持非常大的并发连按数。多进程或多线程模型受内存限制、系统调度器限制以及无处不在的锁限制,很少能处埋数千并发连接。事件驱动模型因为在有更好的资源和时间管理的用户空间(User-Space)实现所有这些任务,所以没有这些问题。此模型的弊端是,在多核系统上,这些程序通常扩展性较差。这就足为什么他们必须进行
优化以使每个CPU时间片(Cycle)做更多的工作。

包括 GitHub、Bitbucket、Stack Overflow、Reddit、Tumblr、Twitter 和 Tuenti 在内的知名网站,及亚马逊网络服务系统都使用了HAProxy。
 

(2)特点

① 单进程、事件驱动模型显著降低了上下文切换的开销及内存占用。

事件检查器(event checker)允许其在高并发连接中对任何连接的任何事件实现即时探测。

② 在任何可用的情况下,单缓冲(single buffering)机制能以不复制任何数据的方式完成读写操作,这会节约大量的CPU时钟周期及内存带宽。

③ 借助于Linux 2.6 (>= 2.6.27.19)上的splice()系统调用,HAProxy可以实现零复制转发(Zero-copy forwarding),在Linux 3.5及以上的OS中还可以实现零复制启动(zero-starting)。

④ 内存分配器在固定大小的内存池中可实现即时内存分配,这能够显著减少创建一个会话的时长。

⑤ 树型存储:侧重于使用作者多年前开发的弹性二叉树,实现了低开销来保持计时器命令、保持运行队列命令及管理轮询及最少连接队列。

⑥ 优化的HTTP首部分析:优化的首部分析功能避免了在HTTP首部分析过程中重读任何内存区域。

⑦ 精心地降低了昂贵的系统调用,大部分工作都在用户空间完成,如时间读取、缓冲聚合及文件描述符的启用和禁用等。

(3)优势

① Haproxy在负载均衡的速度和并发处理上优于nginx
② Haproxy支持虚拟主机,工作在4,7层
③ Haproxy有会话保持,cookie引导等工作
④ Haproxy支持以url的方式检测后端服务器状态
⑤ Haproxy可以对mysql进行负载均衡
⑥ Haproxy支持很多负载均衡算法:轮询。加权轮询,原地址保持,请求URL,根据cookie

2.常见的web集群调度器

(1)硬件

通常使用较多的是F5,国内使用较多是梭子鱼,绿盟等

(2)软件

通常使用开源的Haproxy,nginx,lvs

(3)云端

通常使用SLB,国内使用较多是阿里云、腾讯云、华为云

3.三种web集群调度器的区别

表1 集群调度器区别

类别功能
Haproxy支持八种负载均衡策略
仅做负载均衡软件使用,在高并发情况下性能优于nginx
支持URL健康检查,支持会话保持
nginx支持正则表达式
对网络稳定性要求不高
只支持基于端口检查
不支持会话保持
反向代理能力强
lvs应用范围广泛
在四层做分发作用,负载均衡能力强
只能基于四层端口转发

4.下载安装

(1)下载地址

haproxy官方文档:https://cbonte.github.io/haproxy-dconv/

haproxy源码包下载地址:https://src.fedoraproject.org/repo/pkgs/haproxy/

(2)安装

haproxy安装分为两种:yum安装和源码安装

二、部署Haproxy集群

1.部署

(1)实验环境

Haproxy服务器:192.168.204.250
Nginx 服务器1:192.168.204.200
Nginx 服务器2:192.168.204.150
客户端:192.168.204.100

(2)部署Nginx 服务器1:192.168.204.200

编译安装:

①  #关闭防火墙
systemctl stop firewalld
setenforce 0
 
② #安装依赖关系包
yum -y install pcre-devel zlib-devel gcc gcc-c++ make

③ #新建用户和组便于管理
useradd -M -s /sbin/nologin nginx
 
④ #切换至opt目录,将下载好的压缩包传进来解压
cd /opt
rz -E
tar -zxf nginx-1.24.0.tar.gz 
 
⑤ #切换至解压后的目录下编译
cd nginx-1.24.0
 
./configure \
--prefix=/usr/local/nginx \
--user=nginx \
--group=nginx \
--with-http_stub_status_module
 
⑥ #安装
make -j4 && make install
 
⑦ #做软连接,让系统识别nginx的操作命令
ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/
 
⑧ #将nginx命令加入服务
cd /lib/systemd/system
vim nginx.service
#!/bin.bash
[Unit]
Description=nginx
After=network.target
[Service]
Type=forking
PIDFile=/usr/local/nginx/logs/nginx.pid
ExecStart=/usr/local/nginx/sbin/nginx
ExecReload=/usr/bin/kill -s HUP $MAINPID
ExecStop=/usr/bin/kill -s QUIT $MAINPID
PrivateTmp=true
[Install]
WantedBy=multi-user.target
 
⑨ #创建站点目录
echo "this is david web" > /usr/local/nginx/html/index.html 
cat /usr/local/nginx/html/index.html
 
⑩ #重新加载单元.启动服务
systemctl daemon-reload 
systemctl start nginx
 
⑪ #查看是否能成功启动
ss -ntap|grep nginx
curl 192.168.204.220
或者浏览器访问
192.168.204.200

(3)部署Nginx 服务器2:192.168.204.150

yum安装:

表1 Nginx安装流程

序号

操作关键命令文件
1搭建nginx相关的yum源vim /etc/yum.repos.d/nginx.repo
[nginx-stable]
name=nginx stable repo
baseurl=http://nginx.org/packages/centos/7/$basearch/
gpgcheck=0
enabled=1
安装所获得的软件包都是来源于httpd源
2清理源缓存、重新加载源yum clean all && yum makecache
3安装nginx服务yum -y install nginx
4查看nginx版本nginx -v
5创建站点目录
echo "this is jack web" > /var/www/html/index.html 
cat /var/www/html/index.html 
6启动nginx服务并设置为开机自启systemctl start nginx
systemctl enable nginx
7监听服务端口netstat -antp| grep nginx

(4)部署Haproxy服务器:192.168.204.250

① #关闭防火墙,将安装Haproxy所需软件包传到/opt目录下
systemctl stop firewalld
setenforce 0
 
cd /opt
haproxy-1.5.18.tar.gz
 
② #安装依赖软件
yum install -y pcre-devel bzip2-devel gcc gcc-c++ make
 
③ #解压安装包,并切换至该软件包
cd /opt
rz -E
tar zxf haproxy-1.5.18.tar.gz 
cd haproxy-1.5.18/
 
④ #编译安装Haproxy
make TARGET=linux2628 ARCH=x86_64
make install
####################参数说明###################
TARGET=linux26 #内核版本,
#使用uname -r查看内核,如:2.6.18-371.el5,此时该参数用TARGET=linux26;kernel大于2.6.28的用TARGET=linux2628
ARCH=x86_64 #系统位数,64位系统
 
⑤ #Haproxy服务器配置
mkdir /etc/haproxy
cp examples/haproxy.cfg /etc/haproxy/
 
cd /etc/haproxy/
vim haproxy.cfg
global
--4~5行--修改,配置日志记录,local0为日志设备,默认存放到系统日志
		log /dev/log   local0 info		
        log /dev/log   local0 notice
        #log loghost    local0 info
        maxconn 4096					#最大连接数,需考虑ulimit -n限制
--8行--注释,chroot运行路径,为该服务自设置的根目录,一般需将此行注释掉
        #chroot /usr/share/haproxy
        uid 99							#用户UID
        gid 99							#用户GID
        daemon							#守护进程模式
 
defaults        
		log     global					#定义日志为global配置中的日志定义
        mode    http					#模式为http
        option  httplog					#采用http日志格式记录日志
        option  dontlognull				#不记录健康检查日志信息
        retries 3						#检查节点服务器失败次数,连续达到三次失败,则认为节点不可用
        redispatch						#当服务器负载很高时,自动结束当前队列处理比较久的连接
        maxconn 2000					#最大连接数
        contimeout      5000			#连接超时时间
        clitimeout      50000			#客户端超时时间
        srvtimeout      50000			#服务器超时时间
 
--删除下面所有listen项--,添加
listen  webcluster 0.0.0.0:80			#定义一个名为webcluster的应用
        option httpchk GET /index.html	#检查服务器的index.html文件
        balance roundrobin				#负载均衡调度算法使用轮询算法roundrobin
        server inst1 192.168.204.200:80 check inter 2000 fall 3		#定义在线节点
        server inst2 192.168.204.150:80 check inter 2000 fall 3
		
		
		
##########################参数说明########################
balance roundrobin #负载均衡调度算法
#轮询算法:roundrobin;最小连接数算法:leastconn;来源访问调度算法:source,类似于nginx的ip_hash
 
check inter 2000 #表示haproxy服务器和节点之间的一个心跳频率
fall3 #表示连续三次检测不到心跳频率则认为该节点失效
若节点配置后带有“backup”表示该节点只是个备份节点,只有主节点失效该节点才会上。不携带“backup”,表示为主节点,和其它主节点共同提供服务。
 
 
 
⑥ #添加haproxy系统服务
cp /opt/haproxy-1.5.18/examples/haproxy.init /etc/init.d/haproxy
cd /etc/init.d/
chmod +x haproxy 
chkconfig --add /etc/init.d/haproxy 
ln -s /usr/local/sbin/haproxy /usr/sbin/haproxy
service haproxy start

(5)客户端:192.168.204.100测试验证

在客户端使用浏览器打开 
192.168.204.250
不断刷新浏览器测试负载均衡效果
或
curl 192.168.204.250

2.重新定义Haproxy集群的日志

默认haproxy的日志是输出到系统的syslog中,查看起来不是非常方便,为了更好的管理haproxy的日志,我们在生产环境中一般单独定义出来。需要将haproxy的info及notice日志分别记录到不同的日志文件中。

① #修改haproxy主配置文件
vim /etc/haproxy/haproxy.cfg
-----------------------------------修改以下内容
global
	log /dev/log local0 info
	log /dev/log local0 notice
------------------------------------
 
② #重启服务
service haproxy restart

需要修改rsyslog配置,为了便于管理。将haproxy相关的配置独立定义到haproxy.conf,并放到/etc/rsyslog.d/下,rsyslog启动时会自动加载此目录下的所有配置文件。

③ #修改rsyslog配置文件
vim /etc/rsyslog.d/haproxy.conf
---------------------------------------------------------------------添加如下内容
if ($programname == 'haproxy' and $syslogseverity-text == 'info')
then -/var/log/haproxy/haproxy-info.log
&~
if ($programname == 'haproxy' and $syslogseverity-text == 'notice')
then -/var/log/haproxy/haproxy-notice.log
&~
--------------------------------------------------------------------------

这部分配置是将haproxy的info日志记录到/var/log/haproxy/haproxy-info.log下,将notice日志记录到/var/log/haproxy/haproxy-notice.log下。“&~”表示当日志写入到日志文件后,rsyslog停止处理这个信息。


④ #创建目录、重启服务、查看验证
mkdir /var/log/haproxy/
systemctl restart rsyslog.service
 
tail -f /var/log/haproxy/haproxy-info.log			#查看haproxy的访问请求日志信息

三、实验

1.部署Haproxy集群

(1)部署Nginx 服务器1:192.168.204.200

①编译安装

创建站点目录

 

 启动服务

 查看是否能成功启动

(2)部署Nginx 服务器2:192.168.204.150

① yum安装

创建站点目录

 

  启动服务

 查看是否能成功启动

(3)部署Haproxy服务器:192.168.204.250

关闭防火墙,将安装Haproxy所需软件包传到/opt目录下

 

 安装依赖软件

 解压安装包,并切换至该软件包

 编译安装Haproxy

 

 Haproxy服务器配置

 

 

 添加haproxy系统服务

(4)客户端:192.168.204.100测试验证

四、问题

1.nginx编译安装与yum安装的网页配置路径

(1)编译安装网页配置路径

/usr/local/nginx/html

(2)yum安装网页配置路径

/var/www/html

五、总结

HA-Proxy是一款高性能的负载均衡软件。因为其专注于负载均衡这一件事情,因此与nginx比起来在负载均衡这件事情上做更好,更专业。

负载均衡是通过OSI协议对应的。
7层负载均衡:用的7层http协议,4层负载均衡:用的是tcp协议加端口号做的负载均衡。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/718064.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【2022吴恩达机器学习课程视频翻译笔记】3.1线性回归模型-part-1

3.1线性回归模型-part-1 In this video, we’ll look at what the overall process of supervised learning is like. Specifically, you see the first model of this course, Linear Regression Model. That just means fitting a straight line to your data. It’s probab…

Github-提交PR指南

1. Fork你将要提交PR的repo 2. 将你fork下来的repo克隆到你的本地 git clone your_repo.git Cloning into ultralytics... remote: Enumerating objects: 8834, done. remote: Counting objects: 100% (177/177), done. remote: Compressing objects: 100% (112/112), done. …

交易所行情基础相关知识

目录 一、行情基本概念 二、简单交易模型 三、行情系统结构 四、各种行情协议 1.FIX 2.STEP 3.FAST 4.Binary 一、行情基本概念 行情是描述市场繁荣状态的数据,比较笼统,例如买卖交易量。准确一些的描述是,揭示交易所标的交易与买卖…

http升级https图文,免费证书ssl下载安装

1.先登录阿里云(搜索ssl证书) 2.点击免费SSL证书概述 3.搜索安装PFX格式证书(搜索ssl证书) 4.下载SSL证书 5. 在tomcat服务器安装证书 6. 验证SSL证书是否安装成功 7.阿里云连接 ***注意 **** 1.先登录阿里云官网 2.再访问该网址…

Python Websocket 控制大屏显示

场景描述: 在做大屏展示时,有这样一个需求:在不刷新页面的情况下,动态改变大屏展示内容,如:执行某个函数,把相关数据醒目展示,轮换数据显示顺序等等。比如有领导参观时,马…

技术分享| 融合通讯的架构介绍

在融合通讯中,我们经常听到如下一些术语:MCU服务,SFU架构,MESH架构,星形网络等等。很多客户听到这些数据都是一脸雾水,经常说我们就是要一个可以把多种设备拉到同一个会议中,怎么搞这么复杂。今…

《动手学深度学习》(PyTorch版)-第一章

TOC 第一章 1.1、一般编程要解决的问题 例如,如果我们要为一台微波炉编写一个用户界面 假设我们要编写一个电子邮件客户端。 1.2、深度学习要解决的问题 例如,假设我们想要编写一个判定一张图像中有没有猫的程序。这件事听起来好像很简单&#xff0…

PSI算法极简概述

什么是隐私求交PSI 隐私求交是多方安全计算中的密码学技术,它允许数据持有方通过比较加密集合计算得到交集,且任何一方都不会获得其他信息。PSI还存在一种变体,即CS场景。客户端可以获取其与服务器的交集但是服务器无法学习到该集合。如果在…

【Linux】gcc 的使用 | 动静态库 | make Makefile

程序翻译的过程 程序翻译的过程就是将C语言转换成二进制指令的过程。 预编译(完成 去注释、宏替换、头文件展开、条件编译等工作):gcc -E test.c -o test.i 编译(将C文本替换成汇编语言):gcc -S test.i -…

Excel实用技巧 如何将EXCEL中在同个单元格中的汉字和数字分开

右边字符串,左边数字 RIGHT(A1,LENB(A1)-LEN(A1)) LEFT(A1,2*LEN(A1)-LENB(A1)) 左边字符串,右边数字 LEFT(A1,LENB(A1)-LEN(A1)) RIGHT(A1,2*LEN(A1)-LENB(A1))

在Ubuntu环境下安装anaconda(很简单!!!!!)

前言:想要使用tensorflow-compression,但是这个在windows下不支持。那我只好去Ubuntu环境下的安装anaconda。但是!!!!!找了半天,都没找到好的安装教程,浪费了一下午,心态…

每天一点Python——day49

#第四十九天 # #元组的创建方式: #如图: #①直接小括号 a(python,world,98) print(a) print(type(a)) #也可以省略不写 a1python,world,98 print(a1) print(type(a1)) #为什么可以省略省略小括号呢 a3(python) print(type(a3)) #会发现是字符串类型 #因为…

Python 批量修改或替换文本内容

Python 批量修改或替换文本内容 前言源码效果图鸣谢 前言 遇到一个需要将一堆代码中部分文字替换或删除的需求。 需要处理像下面上百个脚本 需要删除每个脚本中类似下图的内容 可以用python批量处理所有的代码,并且删除我想要删除的内容。 源码 其中使用charde…

C#(四十九)之关于string的一些函数

1&#xff1a;startswith 字符串以。。。开头 // startswith 字符串以。。。开头string[] strArr { "asd","azx","qwe","aser","asdfgh"};for (int i 0; i < strArr.Length; i){if(strArr[i].StartsWith("as&qu…

Unity 新输入系统InputAction设置按键的阈值

输入阈值问题 在新的输入系统中&#xff0c;如果添加一个手柄按键只需要添加Pressed就够了&#xff0c;监听他的三个动作就可以得到按下&#xff0c;点击&#xff0c;抬起。 例如下面的代码&#xff1a; inputAction.Player.Trigger_Right.started OnRightTriggerStarted;i…

2023年07月数据库流行度最新排名

点击查看最新数据库流行度最新排名&#xff08;每月更新&#xff09; 2023年07月数据库流行度最新排名 TOP DB顶级数据库索引是通过分析在谷歌上搜索数据库名称的频率来创建的 一个数据库被搜索的次数越多&#xff0c;这个数据库就被认为越受欢迎。这是一个领先指标。原始数…

国产开源流批统一的数据同步工具Chunjun入门实战

文章目录 概述定义特性 部署安装版本对应关系通用配置详解整体配置Content 配置Setting 配置 Local提交Standalone提交Json方式使用SQL方式使用MySQL SinkKafka Sink 概述 定义 Chunjun 官网 https://dtstack.github.io/chunjun-web/ 源码release最新版本1.12.8 Chunjun 文档地…

代码源 扫描线权值线段树 板子

矩形面积并&#xff08;存档&#xff09; 矩形面积并 - 题目 - Daimayuan Online Judge 题意&#xff1a; Code&#xff08;存档&#xff0c;还没写完&#xff09;&#xff1a; #include <bits/stdc.h>#define y1 Y1 #define int long longusing namespace std;const…

k8s的资源配置清单的管理操作

目录 一、资源配置清单1.1 初步认识资源清单中svc的重要配置项1.2 手动编写 svc资源配置1.3 手动生成模板&#xff0c;再编写资源清单1.4 写yaml太累怎么办&#xff1f;1.5 官网下载资源模板 一、资源配置清单 Kubernetes 支持 YAML 和 JSON 格式管理资源对象 JSON 格式&#…

HOT45-二叉树的右视图

leetcode原题链接&#xff1a;二叉树的右视图 题目描述 给定一个二叉树的 根节点 root&#xff0c;想象自己站在它的右侧&#xff0c;按照从顶部到底部的顺序&#xff0c;返回从右侧所能看到的节点值。 示例 1: 输入: [1,2,3,null,5,null,4] 输出: [1,3,4]示例 2: 输入: [1,n…