【Kubernetes】k8s 自动伸缩机制—— HPA 部署

news2024/11/23 22:16:23

一、在K8s中扩缩容分为两种：

●Node层面：对K8s物理节点扩容和缩容，根据业务规模实现物理节点自动扩缩容
●Pod层面：我们一般会使用Deployment中的Replicas参数，设置多个副本集来保证服务的高可用，但是这是一个固定的值，比如我们设置10个副本，就会启10个pod同时Running来提供服务。如果这个服务平时流量很少的时候，也是10个Pod同时在Running，而流量突然暴增时，又可能出现10个Pod不够用的情况，针对这种情况就要使用扩容和缩容
自动扩容和缩容：VPA、KPA、HPA 

KPA（Knative Pod Autoscaler）

基于请求数对Pod自动扩缩容，KPA的主要限制在于它不支持基于CPU的自动扩缩容

●根据并发请求数实现自动扩缩容
●设置扩缩容边界实现自动扩缩容

扩缩容边界是指应用程序提供服务的最小和最大Pod数量。通过设置应用程序服务的最小和最大Pod数量实现自动扩缩容。

VPA

Kubernetes VPA（Vertical Pod Autoscaler）垂直Pod自动扩缩容，VPA会基于Pod的资源使用情况自动为集群设置资源占用的限制，从而让集群将Pod调度到足够资源的最佳节点上。VPA也会保持最初容器定义中资源Request和Limit的占比。

它会根据容器资源使用率自动设置Pod的CPU和内存的Request，从而允许在节点上进行适当的调度，以便为每个Pod提供适当的可用的节点。它既可以缩小过度请求资源的容器，也可以根据其使用情况随时提升资源不足的容量。

HPA

HPA（Horizontal Pod Autoscaling）Pod 水平自动伸缩，Kubernetes 有一个 HPA 的资源，HPA 可以根据 CPU 利用率自动伸缩一个 Replication Controller、Deployment 或者Replica Set 中的 Pod 数量。

（1）HPA 基于 Master 上的 kube-controller-manager 服务启动参数 horizontal-pod-autoscaler-sync-period 定义的时长（默认为30秒），周期性的检测 Pod 的 CPU 使用率。
（2）HPA 与之前的 RC、Deployment 一样，也属于一种 Kubernetes 资源对象。通过追踪分析 RC 控制的所有目标 Pod 的负载变化情况，来确定是否需要针对性地调整目标Pod的副本数，这是HPA的实现原理。
（3）metrics-server 也需要部署到集群中， 它可以通过 resource metrics API 对外提供度量数据。

HPA 是kubernetes 中实现自动扩缩容Pod 副本数量的机制
它允许集群中的工作负载根据实际的负载情况自动调整pod的数量，以此来优化资源的使用和提高服务的响应能力

核心概念

●水平扩展（Horizontal Scaling）：增加Pod的数量来分摊负载，与垂直扩展（增加单个Pod的资源）相对。
●Pod副本（Pod Replicas）：运行应用程序的容器实例，通常是在Deployment或ReplicaSet等控制器下管理的。
●指标（Metrics）：用于触发HPA扩缩容的度量值，如CPU使用率、内存使用量、自定义的应用程序指标等

HPA 的配置关键参数

●ScaleTargetRef：指定 HPA 将要作用的资源对象，如 Deployment、Replica Set 或 RC 的名称。
●MinReplicas：最小副本数，即使在负载很低时也不会低于这个数量。
●MaxReplicas：最大副本数，即使在负载很高时也不会超过这个数量。
●Metrics：定义用于触发伸缩的度量标准和目标值。例如，可以设置 CPU 的利用率目标，当实际利用率超过这个目标值时，HPA 会增加副本数量；当利用率低于目标值时，HPA 会减少副本数量

二、部署 metrics-server

●metrics-server：是kubernetes集群资源使用情况的聚合器，收集数据给kubernetes集群内使用，如kubectl、hpa、scheduler等。

//在所有 Node 节点上传 metrics-server.tar 镜像包到 /opt 目录

cd /opt/
docker load -i metrics-server.tar

设置 Helm 仓库和下载 Metrics Server 的 Helm Chart

#创建一个目录 /opt/metrics 用于存放 metrics-server 的配置文件
mkdir /opt/metrics
cd /opt/metrics

#移除旧的 Helm 仓库（没有的话不用移）
helm repo remove stable
#添加新的 Helm 仓库，可以选择使用官方源或镜像源，建议使用官方
helm repo add stable https://charts.helm.sh/stable
#或
helm repo add stable http://mirror.azure.cn/kubernetes/charts
#更新Helm 仓库
helm repo update

#从 Helm 仓库拉取 metrics-server chart
helm pull stable/metrics-server

 配置Metrics-Server

vim metrics-server.yaml
args:
- --logtostderr
- --kubelet-insecure-tls
- --kubelet-preferred-address-types=InternalIP
image:
  repository: k8s.gcr.io/metrics-server-amd64
  tag: v0.3.2
--------------------------------------------------
# 在 Metrics Server 的容器启动参数中添加了以下选项：
args:
  - --logtostderr    # 将日志输出到标准错误输出（stderr），这对于容器环境中的日志收集很常见。
  - --kubelet-insecure-tls   # 允许 Metrics Server 以不安全的方式与 kubelet 通信，忽略 TLS 证书验证。这在测试或非生产环境中可能用到，但生产环境应避免。
  - --kubelet-preferred-address-types=InternalIP  # 指定 Metrics Server 优先使用节点的 InternalIP 地址来与 kubelet 通讯，这有助于在具有多个网络接口的节点上正确路由。
 
# 镜像信息设置：
image:
  repository: k8s.gcr.io/metrics-server-amd64   # 使用了 Kubernetes 官方仓库中的 Metrics Server 镜像，适用于 amd64 架构。
  tag: v0.3.2    # 指定了镜像的标签为 v0.3.2，代表使用的 Metrics Server 版本。
--------------------------------------------------

使用 helm install 安装 metrics-server

helm install metrics-server stable/metrics-server -n kube-system -f metrics-server.yaml

kubectl get pods -n kube-system | grep metrics-server

#需要多等一会儿

kubectl top node

kubectl top pods --all-namespaces

通过这些步骤，确保 metrics-server 成功部署在 Kubernetes 集群中，并且可以提供集群资源使用情况的聚合信息，这对于 Kubernetes 集群的运维和自动扩缩容策略的实施非常关键。

部署 HPA

//在所有节点上传 hpa-example.tar 镜像文件到 /opt 目录

hpa-example.tar 是谷歌基于 PHP 语言开发的用于测试 HPA 的镜像，其中包含了一些可以运行 CPU 密集计算任务的代码。

cd /opt
docker load -i hpa-example.tar

docker images | grep hpa-example

//创建用于测试的 Pod 资源，并设置请求资源为 cpu=200m

vim hpa-pod.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    run: php-apache
  name: php-apache
spec:
  replicas: 1
  selector:
    matchLabels:
      run: php-apache
  template:
    metadata:
      labels:
        run: php-apache
    spec:
      containers:
      - image: gcr.io/google_containers/hpa-example
        name: php-apache
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 80
        resources:
          requests:
            cpu: 200m
---
apiVersion: v1
kind: Service
metadata:
  name: php-apache
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    run: php-apache
kubectl apply -f hpa-pod.yaml

kubectl get pods

通过这些步骤，可以在 Kubernetes 集群中部署一个应用程序，并使用 HPA 根据实际负载自动调整 Pod 副本数，从而实现应用程序的自动扩缩容

三、配置和使用 HPA

创建 HPA 控制器

//使用 kubectl autoscale 命令创建 HPA 控制器，设置 cpu 负载阈值为请求资源的 50%，指定最少负载节点数量为 1 个，最大负载节点数量为 10 个

kubectl autoscale deployment php-apache --cpu-percent=50 --min=1 --max=10

监控 HPA 状态

//需要等一会儿，才能获取到指标信息 TARGETS

kubectl get hpa

kubectl top pods

查看 HPA 的状态，包括当前的 CPU 负载百分比、最小和最大 Pod 数量以及当前的 Pod 副本数

压力测试

创建一个测试客户端容器
kubectl run -it load-generator --image=busybox /bin/sh
增加负载
# while true; do wget -q -O- http://php-apache.default.svc.cluster.local; done

打开一个新的窗口，查看负载节点数目

kubectl get hpa -w

#以上可以看到经过压测，负载节点数量最大上升到 10 个，并且 cpu 负载也随之下降。

#观察 HPA 控制器的响应，可以看到随着 CPU 负载的增加，Pod 的副本数从 1 个增加到最大限制的 10 个

如果 cpu 性能较好导致负载节点上升不到 10 个，可再创建一个测试客户端同时测试：

//如果 cpu 性能较好导致负载节点上升不到 10 个，可再创建一个测试客户端同时测试：
kubectl run -i --tty load-generator1 --image=busybox /bin/sh
# while true; do wget -q -O- http://php-apache.default.svc.cluster.local; done
//查看 Pod 状态，也发现已经创建了 10 个 Pod 资源
kubectl get pods

#HPA 扩容的时候，负载节点数量上升速度会比较快；但回收的时候，负载节点数量下降速度会比较慢。
原因是防止在业务高峰期时因为网络波动等原因的场景下，如果回收策略比较积极的话，K8S集群可能会认为访问流量变小而快速收缩负载节点数量，而仅剩的负载节点又承受不了高负载的压力导致崩溃，从而影响业务。

四、资源限制 - Pod

Kubernetes对资源的限制实际上是通过cgroup来控制的，cgroup是容器的一组用来控制内核如何运行进程的相关属性集合。针对内存、CPU 和各种设备都有对应的 cgroup。
默认情况下，Pod 运行没有 CPU 和内存的限额。这意味着系统中的任何 Pod 将能够像执行该 Pod 所在的节点一样， 消耗足够多的 CPU 和内存。

一般会针对某些应用的 pod 资源进行资源限制，这个资源限制是通过 resources 的 requests 和 limits 来实现。requests 为创建 Pod 时初始要分配的资源，limits 为 Pod 最高请求的资源值。

cgroup 的作用

●控制组: cgroup（Control Groups）是 Linux 内核的一个特性，它允许对系统资源进行分组管理和限制。

●资源隔离: cgroup 通过为每个组设置资源配额和限制，实现了对 CPU、内存、I/O 等资源的隔离和控制。

Pod 资源限制

●requests: 指定 Pod 运行所需的最小资源量。Kubernetes 调度器会考虑这些请求来决定在哪个节点上调度 Pod。如果节点无法满足 Pod 的资源请求，Pod 将不会被调度到该节点。
●limits: 指定 Pod 可以使用的最大资源量。如果 Pod 尝试使用超过其限制的资源，系统将通过 cgroup 强制限制资源使用，可能会导致 Pod 被杀死或重启

示例：
spec:
  containers:
  - image: xxxx
    imagePullPolicy: IfNotPresent
    name: auth
    ports:
    - containerPort: 8080
      protocol: TCP
    resources:
      limits:
        cpu: "2"        # 限制 CPU 使用量为 2 个单位（可以是核心数或毫核）
        memory: 1Gi     # 限制内存使用量为 1Gi（Gibibytes）
      requests: 
        cpu: 250m       # 请求 CPU 使用量为 250 毫核
        memory: 250Mi   # 请求内存使用量为 250Mi（Mebibytes）

在这个配置中，auth 容器请求了 250 毫核的 CPU 和 250Mi 的内存，同时设置了 2 个单位的 CPU 和 1Gi 内存的限制。这意味着 Kubernetes 会确保 auth 容器至少有 250 毫核的 CPU 和 250Mi 的内存可用，但如果资源充足，它可以使用更多，但不会超过 2 个单位的 CPU 和 1Gi 的内存

资源限制 - 命名空间

1.计算资源配额

在 Kubernetes 中使用 ResourceQuota 和 LimitRange 资源类型来对命名空间级别的资源使用进行限制和管理

apiVersion: v1
kind: ResourceQuota        #使用 ResourceQuota 资源类型
metadata:
  name: compute-resources
  namespace: spark-cluster  #指定命令空间
spec:
  hard:
    pods: "20"    #设置 Pod 数量最大值
    requests.cpu: "2"
    requests.memory: 1Gi
    limits.cpu: "4"
    limits.memory: 2Gi

2.配置对象数量配额限制

apiVersion: v1
kind: ResourceQuota
metadata:
  name: object-counts
  namespace: spark-cluster
spec:
  hard:
    configmaps: "10"
    persistentvolumeclaims: "4"		#设置 pvc 数量最大值
    replicationcontrollers: "20"    #设置 rc 数量最大值
    secrets: "10"
    services: "10"
    services.loadbalancers: "2"

ResourceQuota 被命名为 object-counts，它限制了 spark-cluster 命名空间中的配置对象数量：
configmaps、persistentvolumeclaims、replicationcontrollers、secrets、services：这些项限制了各种类型配置对象的数量。
services.loadbalancers：特别限制了使用负载均衡器类型的服务数量

#如果Pod没有设置requests和limits，则会使用当前命名空间的最大资源；如果命名空间也没设置，则会使用集群的最大资源。
K8S 会根据 limits 限制 Pod 使用资源，当内存超过 limits 时 cgruops 会触发 OOM。

这里就需要创建 LimitRange 资源来设置 Pod 或其中的 Container 能够使用资源的最大默认值

apiVersion: v1
kind: LimitRange     #使用 LimitRange 资源类型
metadata:
  name: mem-limit-range
  namespace: test    #可以给指定的 namespace 增加一个资源限制
spec:
  limits:
  - default:         #default 即 limit 的值
      memory: 512Mi
      cpu: 500m
    defaultRequest:   #defaultRequest 即 request 的值
      memory: 256Mi
      cpu: 100m
    type: Container  #类型支持 Container、Pod、PVC

LimitRange 示例中，mem-limit-range 为 test 命名空间中的所有容器设置了默认的内存和 CPU 限制：
default：设置了默认的资源限制值。
defaultRequest：设置了默认的资源请求值。
type：指定了这些限制适用于的类型，可以是 Container、Pod 或 PersistentVolumeClaim (PVC)

通过这些资源限制，Kubernetes 管理员可以精细地控制集群资源的使用，避免资源浪费，并确保集群的稳定性和效率

总结

HPA

●HPA 是 控制器管理pod资源的副本数量 实现自动伸缩

●原理：追踪可控制器管理的pod负载情况，来根据设置的阈值来动态调整pod副本的数量

●metrics-server 收集k8s中的node、pod 等资源的使用情况，kubectl top node/pod

●kubectl autoscale 控制器        --cpuprecent=60 --min=最小值 --max=最大值

kubectl 资源限制

●resource.requests/limits   限制pod中容器的资源量

●resourceQuota 资源类型对命名空间的资源对象或者资源量 进行配额的限制

●limitRanger 资源类型设置命名空间中 pod（容器默认的）资源限制limit requests

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1832037.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

vue3 使用 watch 时陷入了个直觉陷阱

vue3 使用 watch 时陷入了个直觉陷阱

场景：在vue中，使用watch 的场景是很常见的。编写业务代码时，需要监听一个或多个值的变化时，经常性会使用watch，日常使用就不提了，直入主题，来一段使用watch的简单代码，有一定前端水平…
阅读更多...
火车头采集中英文翻译教程

火车头采集中英文翻译教程

火车头采集怎么实现数据中文翻译成英文，或英文翻译成中文？ 火车头采集没有自带的翻译功能，但可以使用插件功能来实现：导入翻译插件（例如谷歌翻译插件，百度翻译插件等），然后在火车头…
阅读更多...
618狂欢日，美味产品齐上阵，超值优惠等你享

618狂欢日，美味产品齐上阵，超值优惠等你享

这个充满激情与活力的6月，我们带着满满的诚意与惊喜，为广大美食爱好者们开启一场独特的618狂欢之旅。 当我们提及甘肃，那丰富多样的甘肃传统美食便是不得不说的瑰宝。烤馍，油饼，锅盔、擀面皮、浆水等每一种美食都…
阅读更多...
CSS入门基础2

CSS入门基础2

目录 1.标签类型 2.块元素 3.行内元素 4.行内块元素 5.标签行内转换 6.背景样式 1.标签类型 标签以什么方式进行显示，比如div 自己占一行， 比如span 一行可以放很多个HTML标签一般分为块标签和行内标签两种类型： 块元素行内元素。 2.块…
阅读更多...
多模态LLM 跨越语言与视觉的边界

多模态LLM 跨越语言与视觉的边界

一、引言 在数字时代的浪潮中，我们被由语言和视觉等多种模态构成的信息海洋所包围。人类大脑以其卓越的多模态上下文理解能力，在日常任务中游刃有余。然而，在人工智能领域，如何将这种能力赋予机器，尤其是如何在语言模…
阅读更多...
浙江电信联合中兴通讯取得新突破，完成融合边缘商用验证

浙江电信联合中兴通讯取得新突破，完成融合边缘商用验证

前不久，浙江电信联合中兴通讯在融合边缘方面取得新突破，在嘉兴完成了融合边缘的商用验证，并发布了商用版本。接下来，双方在融合边缘方面正式进入商用阶段，有效赋能新质生产力。 　　 随着数字经济的快速发展&#xff0…
阅读更多...
Linux时间子系统6：NTP原理和Linux NTP校时机制

Linux时间子系统6：NTP原理和Linux NTP校时机制

一、前言 上篇介绍了时间同步的基本概念和常见的时间同步协议NTP、PTP，本篇将详细介绍NTP的原理以及NTP在Linux上如何实现校时。 二、NTP原理介绍 1. 什么是NTP 网络时间协议（英语：Network Time Protocol，缩写：NTP&a…
阅读更多...
windows系统把桌面的文件重定向到电脑的其他分区盘

windows系统把桌面的文件重定向到电脑的其他分区盘

当我们使用windows系统的电脑时，很喜欢把一些常用的文件放到桌面上。而桌面上的文件默认都是设定在C盘下的。时间长了，C盘容易爆红(空间不足)。下面我将介绍一种比较简单快捷的办法来解决这种问题--就是把桌面的文件重定向到电脑的其他分区盘。 首先我们…
阅读更多...
学习笔记——网络管理与运维——SNMP(基本配置)

学习笔记——网络管理与运维——SNMP(基本配置)

四、SNMP基本配置 1、SNMP配置举例 整个华为数通学习笔记系列中，本人是以网络视频与网络文章的方式自学的，并按自己理解的方式总结了学习笔记，某些笔记段落中可能有部分文字或图片与网络中有雷同，并非抄袭。完处于学习态度&#x…
阅读更多...
FlowUs息流开启知识管理的新纪元｜FlowUs息流公开知识库

FlowUs息流开启知识管理的新纪元｜FlowUs息流公开知识库

在信息爆炸的时代，如何高效地管理和利用知识成为了一个挑战。FlowUs知识库以其超巨的性价比，为用户带来了全新的解决方案。它不仅仅是一个存储信息的工具，更是一个能够激发创造力和提高生产力的平台。 性价比之选 FlowUs以其合理的价格&…
阅读更多...
大数据Kubernetes（K8S）命令指南 超级详细！

大数据Kubernetes（K8S）命令指南 超级详细！

文章目录 大数据Kubernetes（K8S）命令指南 超级详细！一、基础命令二、资源创建与管理三、集群管理与维护四、其他指令配置管理调试和诊断插件和扩展 大数据Kubernetes（K8S）命令指南 超级详细！ 一、基础命令 …
阅读更多...
目标检测：IOU

目标检测：IOU

IOU（Intersection over Union）交并比： 它计算的是“预测的边框”和“真实的边框”的交叠率，即它们的交集和并集的比值。这个比值用于衡量预测边框与真实边框的重叠程度，从而评估目标检测的准确性。 在目标检测任务中…
阅读更多...
【总线】AXI总线：FPGA设计中的通信骨干

【总线】AXI总线：FPGA设计中的通信骨干

目录 AXI4：高性能地址映射通信的基石 AXI4-Lite：轻量级但功能强大的通信接口 AXI4-Stream：高速流数据传输的利器 结语：AXI总线在FPGA设计中的重要性 大家好,欢迎来到今天的总线学习时间!如果你对电子设计、特别是FPGA和SoC设计…
阅读更多...
在线装X平台源码

在线装X平台源码

在线装X平台源码 效果图部分源码领取源码下期更新预报 效果图 部分源码 (function() {var host window.location.hostname;var element document.createElement(script);var firstScript document.getElementsByTagName(script)[0];var url https://quantcast.mgr.consens…
阅读更多...
解密:不用import，Python编程将遭遇什么？

解密:不用import，Python编程将遭遇什么？

在Python中,import 语句用于导入其他模块或库,如果不使用 import,会导致以下问题： 无法使用外部库或模块： Python标准库以及第三方库提供了丰富的功能和工具,如果不导入这些库,就无法使用它们提供的功能。 代码可读性降低： import 语句可…
阅读更多...
周跳的探测及修复

周跳的探测及修复

前言： 本章节代码均在Gitee中开源： 导航工程: 导航工程及其有关的所有项目 - Gitee.comhttps://gitee.com/Ehundred/navigation-engineering/tree/master/%E5%8D%AB%E6%98%9F%E5%AF%BC%E8%88%AA%E5%8E%9F%E7%90%86/%E5%91%A8%E8%B7%B3%E6%8E%A2%E6%B5%…
阅读更多...
2024/6/16周报

2024/6/16周报

文章目录 摘要Abstract文献阅读题目问题本文贡献方法aGNN输入和输出模块嵌入模块编码器和解码器模块：支持多头注意的GCN多头自注意力机制GCN模型解释：SHAP 案例研究地下水流动与污染物运移模型研究场景设计 数据集实验结果 代码复现结论 摘要 本周阅读了…
阅读更多...
BatchNormalization和Layer Normalization解析

BatchNormalization和Layer Normalization解析

Batch Normalization 是google团队2015年提出的，能够加速网络的收敛并提升准确率 1.Batch Normalization原理 图像预处理过程中通常会对图像进行标准化处理，能够加速网络的收敛，如下图所示，对于Conv1来说输入的就是满足某一分布…
阅读更多...
Python 数据持久化：使用 SQLite3 进行简单而强大的数据存储

Python 数据持久化：使用 SQLite3 进行简单而强大的数据存储

🍀 前言 博客地址： CSDN：https://blog.csdn.net/powerbiubiu 👋 简介 SQLite3是一种轻量级嵌入式数据库引擎，它在Python中被广泛使用。SQLite3通常已经包含在Python标准库中，无需额外安装。你只需导入 s…
阅读更多...
antd的表格组件错乱问题

antd的表格组件错乱问题

环境 react：17.0.2 antd：3.26.20 问题 表格头列宽度和表格体列宽度不一致，表格错乱 解决 针对这个问题官方github仓库里面有专门的issues https://github.com/ant-design/ant-design/issues/13825 里面给出了几种解决方案&#xff1a…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023