【Linux】Keepalived+Haproxy实现数据库集群负载均衡

news2024/11/23 8:28:39

1、简介:

  1. 本文章的负载均衡和高可用是体现在两个从服务器上的。一般来说高可用是用在主服务器中的,例如双主多从的结构,双主做keepalived的高可用(当然也可以加上haproxy做负载均衡),多从做haproxy的负载均衡。
  2. 【keepalived】和 【haproxy】的安装一般是不和业务服务器一起的,是分开部署的。本文是为了方便学习,安装到了一起。

2、haproxy介绍

  HAProxy是一种免费的、非常快速和可靠的反向代理,为基于TCP和HTTP的应用程序提供高可用性、负载平衡和代理。

特点:

  • 拥有功能强大的后端服务器的状态监控 web 页面,可以实时了解设备的运行状态 ,还可实现设备上下线等简单操作。
  • 支持多种负载均衡调度算法,并且也支持 session 保持。
  • HAProxy 还拥有功能强大的 ACL 支持,可灵活配置路由功能,实现动静分离。
  • 可靠性与稳定性都非常出色。
  • 支持长连接、短连接和日志功能,可根据需要灵活的配置。
  • 支持两种代理模式:TCP(四层)和HTTP(七层),支持虚拟主机。

3、keepalived介绍

  Keepalived的作用是检测服务器的状态,如果有一台web服务器宕机,或工作出现故障,Keepalived将检测到,并将有故障的服务器从系统中剔除,同时使用其他服务器代替该服务器的工作,当服务器工作正常后Keepalived自动将服务器加入到服务器群中,这些工作全部自动完成,不需要人工干涉,需要人工做的只是修复故障的服务器。

Keepalived工作在TCP/IP 参考模型的 三层、四层、五层,也就是分别为:网络层,传输层和应用层,根据TCP、IP参数模型隔层所能实现的功能,Keepalived运行机制如下:

  在网络层:我们知道运行这4个重要的协议,互联网络IP协议,互联网络可控制报文协议ICMP、地址转换协议ARP、反向地址转换协议RARP,在网络层Keepalived在网络层采用最常见的工作方式是通过ICMP协议向服务器集群中的每一个节点发送一个ICMP数据包(有点类似与Ping的功能),如果某个节点没有返回响应数据包,那么认为该节点发生了故障,Keepalived将报告这个节点失效,并从服务器集群中剔除故障节点。

  在传输层:提供了两个主要的协议:传输控制协议TCP和用户数据协议UDP,传输控制协议TCP可以提供可靠的数据输出服务、IP地址和端口,代表TCP的一个连接端,要获得TCP服务,需要在发送机的一个端口和接收机的一个端口上建立连接,而Keepalived在传输层里利用了TCP协议的端口连接和扫描技术来判断集群节点的端口是否正常,比如对于常见的WEB服务器80端口。或者SSH服务22端口,Keepalived一旦在传输层探测到这些端口号没有数据响应和数据返回,就认为这些端口发生异常,然后强制将这些端口所对应的节点从服务器集群中剔除掉。

  在应用层:可以运行FTP,TELNET,SMTP,DNS等各种不同类型的高层协议,Keepalived的运行方式也更加全面化和复杂化,用户可以通过自定义Keepalived工作方式,例如:可以通过编写程序或者脚本来运行Keepalived,而Keepalived将根据用户的设定参数检测各种程序或者服务是否允许正常,如果Keepalived的检测结果和用户设定的不一致时,Keepalived将把对应的服务器从服务器集群中剔除。

4、安装工具

4.1、haproxy安装

4.1.1、在两个从服务器【192.168.119.150】【192.168.119.151】上安装haproxy负载均衡器,安装结果如下图。

#安装haproxy
yum install haproxy -y

 4.1.2、配置haproxy的配置文件,配置文件目录地址【/etc/haproxy/haproxy.cfg】。

#打开配置文件
vim /etc/haproxy/haproxy.cfg

#删除原有的配置,写入以下配置到文件中
global
    log         127.0.0.1 local2
    chroot      /var/lib/haproxy
    pidfile     /var/run/haproxy.pid
    maxconn     4000
    user        haproxy
    group       haproxy
    daemon
    stats socket /var/lib/haproxy/stats

defaults
    mode                   tcp
    log                     global
    option                  tcplog
    option                  dontlognull
    option http-server-close
    option                  redispatch
    retries                 3
    timeout http-request    10s
    timeout queue           1m
    timeout connect         10s
    timeout client          1m
    timeout server          1m
    timeout http-keep-alive 10s
    timeout check           10s
    maxconn                 3000

frontend                mysql
    bind                0.0.0.0:3307
    mode                tcp
    log                 global
    default_backend     mysql_server

backend         mysql_server
    balance     roundrobin
    server      mysql1 192.168.119.150:3306 check inter 5s rise 2 fall 3
    server      mysql2 192.168.119.151:3306 check inter 5s rise 2 fall 3

listen stats
    mode http
    bind 0.0.0.0:1080
    stats enable
    stats hide-version
    stats uri /haproxyadmin?stats
    stats realm Haproxy\ Statistics
    stats auth admin:admin
    stats admin if TRUE

4.1.3、启动haproxy负载均衡;使用命令【ps -ef | grep haproxy】查看是否启动,结构如下图。

#启动命令
/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg

4.1.4、在【4.1.2】的配置文件中有【listen stats】项,这项配置的是WEB页面的的访问信息。从中可以看到需要开放【1080】端口,所以需要所在服务器开放【1080】端口。而访问web页面的格式是【本机IP地址+端口+配置文件中[backend  mysql_server]项下的[stats uri]值】,密码是配置文件中【listen stats】 项的 【stats auth】值,冒号前面是账号,后面是密码。在【frontend mysql】项中也有个【3307】的端口别忘开放了。

4.2、keepalived安装

4.2.1、从服务器上都要安装keepalived,首先要安装它的相关依赖。

#先安装keepalived的相关依赖
yum install gcc gcc-c++ openssl openssl-devel

4.2.2、下载并安装keepalived,结果如下图。

#yun安装keepalivedll
yum install keepalived -y

4.2.3、设置 keepalived 服务的开机启动,结果如图。

#设置开机启动命令
chkconfig keepalived on

4.2.4、配置两个从机【192.168.119.150、192.168.119.151】的 keepalived 配置文件。

#使用查找命令找到配置文件,文件路径【/etc/keepalived/keepalived.conf】
find / -name keepalived.conf

#使用 vim 命令打开配置文件
vim /etc/keepalived/keepalived.conf

#写入以下配置内容-----------------------------
! Configuration File for keepalived
global_defs {
    router_id LVS_MASTER
}

vrrp_script chk_haproxy {
    script "/etc/keepalived/haproxy_check.sh" # 检测 haproxy 状态的脚本路径
    interval 2 # 检测时间间隔
    weight 2 # 如果条件成立,权重+2
}

vrrp_instance VI_1 {
    state BACKUP  #该参数可以指定为master或者backup的一种,master为工作状态,backup为备用状态(指定两个从服务器中keepalived的主从关系,一个配置成MASTER,一个配置成BACKUP)。
    interface ens33  # 该参数指定运行VIP的网卡,即virtual_ipaddress虚拟IP的网卡。
    virtual_router_id 79  #该参数指定了VRRP用户组,互为主备的设备应当处于同一个VRRP用户组内,因此该参数应该配置相同(我两个从服务器算是一组,所以这个ID两个从服务器是一样的)。
    priority 90  #该参数指定本节点keepalived的优先级,用来选举master的,要成为 master,该项取值范围是1-255(在此范围之外会被识别成默认值100),一般master高于backup。
    advert_int 1  #该参数指定master与backup进行同步检查的时间间隔。默认1s
    nopreempt
    authentication {
        auth_type PASS  #权限认证配置
        auth_pass 1234
    }
    virtual_ipaddress {
        192.168.119.201  #虚拟IP地址
    }
    track_script {
        chk_haproxy
    }
}

启动所有服务器中的 keepalived 

#启动
keepalived -f /etc/keepalived/keepalived.conf

4.2.5、编写 haproxy 状态检测脚本,脚本的位置在【/etc/keepalived/haproxy_check.sh】就是keepalived配置文件中的【vrrp_script chk_haproxy】项。

#!/bin/bash
START_HAPROXY="/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg" #haproxy启动命令
LOG_FILE="/usr/local/keepalived/log/haproxy-check.log" # 日志文件
HAPS=`ps -C haproxy --no-header |wc -l` # 检测haproxy的状态,0代表未启动,1已经启动
date "+%Y-%m-%d %H:%M:%S" >> $LOG_FILE #在日志文件当中记录检测时间
echo "check haproxy status" >> $LOG_FILE # 记录haproxy的状态
if [ $HAPS -eq 0 ];then #执行haproxy判断
  echo $START_HAPROXY >> $LOG_FILE #记录启动命令
  /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg #启动haproxy
  sleep 3
  if [ `ps -C haproxy --no-header |wc -l` -eq 0 ];then
    echo "start haproxy failed, killall keepalived" >> $LOG_FILE
    killall keepalived
    service keepalived stop
  fi
fi

        注意:设置文件权限 chmod -R 755 haproxy_check.sh

5、测试

5.1、在windows电脑上打开DOS命令窗口,输入以下命令测试负载均衡。结果如下图,server_id的值在2和3之间来回响应,表示负载均衡配置成功。

#测试【192.168.119.150】服务器上的负载均衡命令
mysql -uslave -proot -P3307 -h192.168.119.150 -e "show variables like 'server_id'";

5.3、在 keepalived 配置文件中我们设置了一个虚拟IP用于对外的访问,所以现在把【5.1】步骤命令中的IP换成虚拟IP【192.168.119.201】后再测试是否能负载均衡。结果如下图,一样可以进行负载均衡的调度。

5.4、两个从机都安装了 haproxy 和 keepalived 实现了负载均衡和高可用。那么把【192.168.119.150】的虚拟机停机看看运行结果。结果如下图,通过虚拟IP【192.168.119.201】还是可以正常访问数据库,现在只能访问到一台MySQL了,【server_id=3】也就是【192.168.119.151】的服务器。这说明高可用配置也成功了。

#关停【192.168.119.150】的 mysql,模拟宕机
service mysql stop

5.5、现在我们再把【192.168.119.150】的虚拟机再运行起来,查看下效果。结果如下图,之前停机的服务又回到了负载均衡的队伍中。

6、总结

  本文章中主要介绍了负载均衡和高可用的相关知识点,以及实现所对应的工具,并且对工具的安装和配置进行了介绍。在安装和配置之前你首先要明白自己所要架构的体系和形式,这样你在搭建负载均衡和高可用的时候才思路清晰。

  本人也是在学习和摸索道路中,如文中有不恰当处,欢迎大家评论指出!!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/506741.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

微盟餐饮SaaS蜕变时刻:战略投资奥琦玮,领军之势已成

从火爆了整个春天的淄博烧烤,到“五一”人山人海的全国各地核心商圈,餐饮业热度狂飙不止。餐饮SaaS领域,大事件也在发生。 5月8日,微盟集团(2013.HK)宣布以“资产现金”方式,向餐饮行业数字化服…

前端get请求参数包含数组的情况

前端get请求参数包含数组的情况 问题描述解决办法文章参考 问题描述 当我们使用post传数组参数的时候,是没有问题的,可以不经过参数处理即可正常传参,但是当我们使用get请求传数组参数的时候,会出现下图这样的情况: a…

如何通过云平台加快Blender渲染?

Blender是一款专业自由及开放源代码的三维计算机图形软件,也是免费的开源3D创作套件,支持整个3D流程——建模、UV、贴图、材质、骨骼、动画、渲染、后期、合成、剪辑、跟踪和抠像等等,CG行业内也有不少大佬们通过Blender制作出了许多优秀作品…

代码随想录 LeetCode数组篇 螺旋矩阵II Java实现

文章目录 (中等)59. 螺旋矩阵II(中等)54. 螺旋矩阵(简单)JZ29 顺时针打印矩阵 (中等)59. 螺旋矩阵II 因为我是先做的JZ29,所以看到这题的时候,几乎就是一样的…

SpringCloud入门实战之项目(一)

一、新建父工程 以“下单”需要调“支付”模块为例,从零开始搭建springcloud-001项目,陆续集成相关组件。 新建服务提供者cloud-payment工程,服务调用者cloud-order工程,完成order对payment的调用。 只留下pom文件,其…

基于人工智能AI视频分析的智慧安监解决方案

方案背景 为了保证对园区环境风险进行有效识别,传统视频监控存在视频结构化利用率低的问题,在实际使用过程中,安全管理人员工作效率低下,依靠人工肉眼查看灵活度低,风险漏报概率高,出现异常情况跟踪不及时&…

中文润色神器-中文润色软件

中文写作润色软件 中文写作润色软件是一种基于自然语言处理技术和人工智能算法的工具,旨在提高中文文本的语言风格、表达能力和可读性。它可以自动检测文本中出现的语法、拼写、标点符号等语言问题,并给出相应的修正和修改建议。 中文写作润色软件的主…

paddleLite在Android部署初体验(环境问题)

paddleLite初体验(环境问题) Android Studio下载Paddle Lite Demo打开项目环境配置下载到手机 Paddle Lite是百度开发的一种方便部署的深度学习推理框架,笔者最近想接触一些模型部署相关项目,就先接触了一下Paddle Lite&#xff0…

手术麻醉信息系统源码 php + mysql + vue2,覆盖患者就诊全过程,体征数据自动采集绘制

手术麻醉信息系统源码 php mysql vue2 B/S网页版 麻醉信息系统是HIS产品的中的一个组成部分,主要应用于医院的麻醉科,属于电子病历类产品。医院麻醉监护的功能覆盖整个手术与麻醉的全过程,包括手术申请与排班、审批、安排、术前、术中和术…

list_for_each_entry()函数分析

在Linux内核源码中,经常要对链表进行操作,其中一个很重要的宏是list_for_each_entry: /*** list_for_each_entry - iterate over list of given type* pos: the type * to use as a loop cursor.* head: the head for your list.* member: t…

9个已开源的GPT4平替分享(附开源代码+论文)

资料整理自网络,有误欢迎指正 对于想要研究大模型的同学来说,目前ChatGPT无疑是最好的学习对象,但等它开源估计是不太可能了,所以学姐今天整理了一些开源的类GPT模型,帮助大家更好的理解大模型背后的机理。 PS&#x…

io,nio,aio区别

文章目录 前言io类型介绍同步阻塞io同步非阻塞ioio多路复用异步io 普通ionioChannelChannel实现基本的 Channel代码 示例 BufferBuffer的基本用法Buffer的capacity,position和limitcapacitypositionlimit Buffer的类型Buffer的分配向Buffer中写数据从Buffer中读取数据 Selector…

CSS 实现任意角度圆环

参考链接: css 制作圆环 - 掘金 主要思路: 利用 CSS 的 clip-path 属性进行裁剪 clip-path 具体信息参考 polygon() - MDN (mozilla.org) 该属性原理是:利用多边形进行对图形的裁剪。 根据具体代码,去分析 clip-path: polyg…

JavaWeb:Servlet、ServletContext、HttpServletResponse、HttpServletRequest 的详细内容

文章目录 JavaWeb - 02一、Servlet1. 简介2. HelloServlet3. Servlet 原理4. Mapping 原理 二、ServletContext1. 共享数据2. 获取初始化参数3. 请求转发4. 读取资源文件 三、HttpServletResponse1. 方法介绍2. 应用:下载文件3. 应用:创建验证码4. 应用&…

office web apps在线office文件预览部署及问题处理

文件下载链接网盘: 链接: https://pan.baidu.com/s/1OmWM5END0jyWESGzFCniEw 提取码: ejpg 基本环境需要两台机,1台为域控,1台为 (office web apps ,需要加入到域) 主机1:添加域控服务 安装完…

设备树简介

设备树 设备树简介 设备树是一种描述硬件的数据结构,它起源于OpenFirmware(OF)。 在Linux 2.6中, ARM架构的板极硬件细节过多地被硬编码在arch/arm/plat-xxx和arch/arm/mach-xxx中,采用设备树后,许多硬件…

python操作字典

# 字典 score{"张三":"23","王五":"45"} print(score) dctdict(name张三,age20) print(dict) print(type(score)) # 字典元素的获取 print(score[张三]) print(score.get(张三)) # 判断是否是字典中的元素 print(王五 in score) # 为字…

浅析AI视频智能识别技术如何助力智慧平安校园建设

校园安全一直是学生健康成长、全面发展的前提与保障。校园门口伤害事件的频发与校园内应急事件的突发,让建设平安校园的任务愈加急迫。校园人流量大、监控点多,安保人员无法同时盯住上百个视频画面,亦无法保证24小时有效监控。传统的校园安防…

软件测试简历项目经验怎么写?一篇足矣解决

一、前言:浅谈面试 面试是我们进入一个公司的门槛,通过了面试才能进入公司,你的面试结果和你的薪资是息息相关的。那如何才能顺利的通过面试,得到公司的认可呢?面试软件测试要注意哪些问题呢?下面和笔者一起来看看吧。这里分享一…