k8s学习--kubernetes服务自动伸缩之水平伸缩(pod副本伸缩)HPA详细解释与案例应用

news2024/11/29 12:32:04

文章目录

  • 前言
  • HPA简介
    • 简单理解
    • 详细解释
      • HPA 的工作原理
      • 监控系统
      • 负载模式
      • HPA 的优势
      • 使用 HPA 的注意事项
      • 应用类型
  • 应用
    • 环境
      • 1.metircs-server部署
      • 2.HPA演示示例
        • (1)部署一个服务
        • (2)创建HPA对象
        • (3)执行压测


前言

有任何疑问或不懂的地方均可评论或私信,欢迎交流

HPA简介

简单理解

HAP,全称 Horizontal Pod Autoscaler

简单来说就是根据指标来对pod副本数量进行自动控制
比如说cpu和内存使用率

HPA 定期检查内存和 CPU
使用率高就会自动创建多个副本(上限取决于自定义的数量)
使用率低就会关闭多个副本(下限取决于自定义的数量)

实际生产中,广泛使用这四类指标:
1、Resource metrics - CPU和内存利用率指标
2、Pod metrics - 例如网络利用率和流量
3、Object metrics - 特定对象的指标,比如Ingress, 可以按每秒使用请求数来扩展容器
4、Custom metrics - 自定义监控,比如通过定义服务响应时间,当响应时间达到一定指标时自动扩容


详细解释

在 Kubernetes (k8s) 中,HPA 指的是 Horizontal Pod Autoscaler(水平 Pod 自动伸缩)。这是 Kubernetes 中用于自动调整 Pod 副本数量的机制,以应对负载的变化,确保应用程序的高可用性和资源的有效利用。


HPA 的工作原理

监控指标
HPA 通过 Kubernetes Metrics Server 或者其他自定义的指标(如 Prometheus),定期获取当前的负载情况。常见的指标包括 CPU 使用率、内存使用率、自定义指标(例如 QPS,查询每秒)等。

调整策略
根据定义的策略,HPA 会判断是否需要增加或减少 Pod 的数量。例如,如果 CPU 使用率超过预设的阈值,HPA 会增加 Pod 的数量;如果 CPU 使用率低于预设的阈值,HPA 会减少 Pod 的数量。


监控系统

HPA 依赖于监控系统提供的指标数据,常见的监控系统包括:

Kubernetes Metrics Server
提供基础的 CPU 和内存使用率数据。

Prometheus
一个更强大的监控系统,可以自定义多种指标,并与 Kubernetes 集成。

Datadog、New Relic 等第三方监控工具
可以提供更详细的应用监控数据。


负载模式

根据应用的负载模式配置 HPA 的策略:

周期性负载
如果应用负载有明显的周期性变化(如电商网站的流量在白天和晚上波动),可以根据历史数据调整 HPA 策略。

突发负载
对于突发性负载(如新闻网站在重大事件发生时流量激增),需要配置更灵活的伸缩策略,以快速响应负载变化。

持续增长负载
对于持续增长的负载(如新产品发布后的用户增长),需要确保 HPA 能够持续扩展并保持应用性能。

HPA 的优势

自动化伸缩
根据负载自动调整 Pod 数量,确保应用在高负载下能够提供足够的计算资源,而在低负载下又不浪费资源。

高可用性
通过及时增加 Pod 数量,防止应用因为资源不足而出现性能问题。

节约成本
通过在低负载时减少 Pod 数量,节省资源和成本。


使用 HPA 的注意事项

监控数据源
确保 Metrics Server 或者其他指标数据源的稳定性和准确性,否则 HPA 的调整可能不准确。

冷启动时间
在负载激增时,新增的 Pod 可能需要一些时间启动,应用需要考虑这一点,避免在短时间内出现资源不足的情况。

阈值设置
合理设置指标阈值,避免频繁的伸缩操作,造成系统的不稳定。


应用类型

HPA 适用于以下类型的应用:

Web 应用
具有高并发请求特点的应用,可以通过 HPA 在流量高峰时增加 Pod 数量,保证响应速度。

后台处理服务
如数据处理、消息队列消费者等,根据任务队列的长度或处理速度进行伸缩。

微服务架构
每个服务可以独立伸缩,HPA 可以根据每个服务的负载情况动态调整 Pod 数量

应用

虚拟机

环境

Ip主机名cpu内存硬盘
192.168.10.11master012cpu双核4G100G
192.168.10.12worker012cpu双核4G100G
192.168.10.13worker022cpu双核4G100G

版本 centos7.9
已部署k8s-1.27

1.metircs-server部署

master上操作

wget https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/high-availability-1.21+.yaml

kubelet 证书需要由集群证书颁发机构签名

(或者通过向 Metrics Server 传递参数 --kubelet-insecure-tls 来禁用证书验证)。

更改文件

vim high-availability-1.21+.yaml

149行添加
在这里插入图片描述
解释
因为是虚拟机环境,这条命令是允许 kubelet 使用不安全的 TLS 连接,生产环境不建议使用,这里是便于快速部署和测试已看到效果。

kubectl apply -f high-availability-1.21+.yaml 
watch kubectl get pods -n kube-system 

耐心等待,如果一直起不来就先删除pod再重启个节点docker。
在这里插入图片描述

kubectl top nodes

在这里插入图片描述

kubectl top pods -n kube-system

在这里插入图片描述
这里就部署好了,让我们来演示一下

2.HPA演示示例

(1)部署一个服务
mkdir hpa
cd hpa/
vim 01-nginx.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: nginx
  name: nginx
  namespace: default
spec:
  replicas: 2
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:latest
        imagePullPolicy: IfNotPresent
        resources:
          requests:
            cpu: 200m
            memory: 100Mi
---
apiVersion: v1
kind: Service
metadata:
  name: nginx
  namespace: default
spec:
  type: NodePort
  ports:
  - port: 80
    targetPort: 80
  selector:
    app: nginx
kubectl apply -f 01-nginx.yaml 
kubectl get pods

如果没有镜像可能会慢点,耐心等待即可
在这里插入图片描述
这是不是报错,是再重新拉取镜像,再耐心等待一下即可

好了
在这里插入图片描述

(2)创建HPA对象

这是一个 HorizontalPodAutoscaler (HPA) 对象的配置,它将控制 Deployment “nginx” 的副本数量。当 CPU 使用率超过 50% 时,HPA 将自动增加 Pod 的副本数量,最高不超过 10 个。

vim 02-nginx-hpa.yaml
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: nginx-hpa
  namespace: default
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: nginx
  minReplicas: 1
  maxReplicas: 10
  metrics:
  - type: Resource
    resource:
      name: cpu
      target:
        type: Utilization
        averageUtilization: 50
kubectl apply -f 02-nginx-hpa.yaml 
kubectl get hpa

在这里插入图片描述

(3)执行压测

下载工具,查看服务ip

 yum -y install httpd-tools
  kubectl get svc

在这里插入图片描述

ab -c 1000 -n 100000000000 http://192.168.10.11:32435/

打开另一个终端查看
可以看到正在增加

kubectl get hpa

在这里插入图片描述
在这里插入图片描述
可以看到再不断变多

kubectl get hpa

指标会越来越小
在这里插入图片描述
在这里插入图片描述

10个是因为最高设置的10个

压力测试停止一段时间后查看

kubectl get pods

pod会越来越少
直到设置的最小数量
在这里插入图片描述

kubectl get hpa

在这里插入图片描述

大约5分钟以后

kubectl get hpa
kubectl get pods

在这里插入图片描述
在这里插入图片描述
可以看到pod数量已经到设置最小数量

至此
完成

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1815591.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【免费Web系列】大家好 ,今天是Web课程的第十九天点赞收藏关注,持续更新作品 !

1. Vue工程化 前面我们在介绍Vue的时候,我们讲到Vue是一款用于构建用户界面的渐进式JavaScript框架 。(官方:Vue.js - 渐进式 JavaScript 框架 | Vue.js) 那在前面的课程中,我们已经学习了Vue的基本语法、表达式、指令…

Etcd Raft架构设计和源码剖析2:数据流

Etcd Raft架构设计和源码剖析2:数据流 | Go语言充电站 前言 之前看到一幅描述etcd raft的流程图,感觉非常直观,但和自己看源码的又有些不同,所以自己模仿着画了一下,再介绍一下。 下图从左到右依次分为4个部分&…

探索在线问诊系统的安全性与隐私保护

随着远程医疗的普及,在线问诊系统成为医疗服务的重要组成部分。然而,随着医疗数据的在线传输和存储,患者的隐私保护和数据安全面临巨大挑战。本文将探讨在线问诊系统的安全性与隐私保护,介绍常见的安全措施和技术实现,…

【问题记录】VMware 17.5.1下载VMware tools失败报错的解决方法

一,问题现象 Ubuntu可以上网,但是下载VMware tools失败,报错提示:“连接到更新服务器时发生证书错误。请检查您的Internet设置或联系您的系统管理员。” 下载安装VMware tools: 报错提示: 二&#xff0…

品质卓越为你打造App UI 风格

品质卓越为你打造App UI 风格

网络安全到底是什么?一篇概念详解(附学习资料)

一、什么是网络安全?(文末有资料) “网络安全是指网络系统的硬件、软件及其系统中的数据受到保护,不因偶然的或者恶意的原因而遭受到破坏、更改、泄露、系统连续可靠正常地运行,网络服务不中断。” 说白了网络安全就…

【精品方案】某咨询公司的大数据解决方案(32页PPT),干货满满!

引言:随着信息技术的快速发展和大数据时代的到来,企业面临着海量数据的挑战与机遇。如何高效、准确地收集、处理、分析和利用这些数据,成为了企业提升业务效率和决策质量的关键。本咨询公司结合多年的行业经验和先进的大数据技术,…

Electron+Vue开源软件:洛雪音乐助手V2.8畅享海量免费歌曲

洛雪音乐助手是一款功能全面且完全免费的开源音乐软件,支持在Windows、Android和iOS平台上使用。 平台支持: 桌面版:采用Electron Vue技术栈开发,支持Windows 7及以上版本、Mac OS和Linux,具有广泛的用户群体覆盖。 …

spring boot3登录开发-邮箱登录/注册接口实现

⛰️个人主页: 蒾酒 🔥系列专栏:《spring boot实战》 🌊山高路远,行路漫漫,终有归途 目录 写在前面 上文衔接 内容简介 功能分析 所需依赖 邮箱验证登录/注册实现 1.创建交互对象 2.登录注册业务逻辑实…

绿洲生态【OAS】爱护环境--保护地球

绿洲生态(OAS),是由新加坡绿洲基金会联合世界绿色环保组织联合发行OAS通证。总发行量9亿,致力于形成辐射全球的“绿洲生态(OAS)”探索环保应用流通通证(OAS)生态体系。 绿洲生态通过(OAS)分配来提高玩家的参…

Chromium源码阅读:深入理解Mojo框架的设计思想,并掌握其基本用法(2)

我们继续分析Chromium的Mojo模块。 Dispatcher Dispatcher 是 Mojo IPC 系统中的一个关键概念。它是一个虚基类类(或接口),用于实现与特定 MojoHandle 相关联的 Mojo 核心 API 调用。在 Mojo 系统中,应用程序通过这些 API 与各种…

人工智能在肿瘤细胞分类中的应用|顶刊速递·24-06-06

小罗碎碎念 推文主题——人工智能在肿瘤细胞分类中的应用。 重点关注 临床方向的同学/老师建议重点关注第四篇&第六篇文章,最近DNA甲基化和蛋白组学与AI的结合,在顶刊中出现的频率很高,建议思考一下能否和自己的课题结合。 工科的同学重…

第6章 应用层

考纲内容 (一)网络应用模型 客户/服务器模型;P2P模型 (二)域名系统(DNS) 层次域名空间;域名服务器;域名解析过程 (三)文件传输协议(FTP) …

【人工智能】文本提取技术的算法延伸

✍🏻记录学习过程中的输出,坚持每天学习一点点~ ❤️希望能给大家提供帮助~欢迎点赞👍🏻收藏⭐评论✍🏻指点🙏 文本提取技术中用到的算法 TF-IDF(Term Frequency-Inverse Document Frequency…

【C语言】联合(共用体)

目录 一、什么是联合体 二、联合类型的声明 三、联合变量的创建 四、联合的特点 五、联合体大小的计算 六、联合的应用(判断大小端) 七、联合体的优缺点 7.1 优点 7.2 缺点 一、什么是联合体 联合也是一种特殊的自定义类型。由多个不同类型的数…

【多元统计】期末复习必备!按题型分类

一,简答题 二,证明题 三,计算题

vue之一键部署的shell脚本和它的点.bat文件、海螺AI、ChatGPT

MENU 前言vite.config.ts的配置deploy文件夹的其他内容remote.shpwd.txtdeploy.bat 前言 1、在src同级新建deploy.bat文件; 2、在src同级新建deploy文件夹,文件夹中新建pwd.txt和remote.sh文件; 3、配置好后,直接双击deploy.bat文…

AI大模型-LangChain基础知识入门

1 什么是LangChain LangChain由 Harrison Chase 创建于2022年10月,它是围绕LLMs(大语言模型)建立的一个框架,LLMs使用机器学习算法和海量数据来分析和理解自然语言,GPT3.5、GPT4是LLMs最先进的代表,国内百度…

10分钟搞定分布式应用缓存

本文深入探讨了分布式应用缓存的概念、实现方式、策略以及最佳实践,详细介绍了主要的缓存模式,并讨论了缓存驱逐策略及今后的发展。原文: Mastering Caching in Distributed Applications 缓存似乎是一种你觉得可以做对,但却永远做不对的东西…

赛氪网受邀参加上海闵行区翻译协会年会,共探科技翻译创新之路

在科技飞速发展的时代背景下,翻译行业正面临着前所未有的机遇与挑战。作为连接高校、企业与社会的桥梁,赛氪网在推动翻译创新、促进学术交流方面展现出了独特的魅力。2024年6月9日,在华东师范大学外语学院举办的第十三届上海市闵行区翻译协会…