文章目录
- 一.HPA概念
- 1.什么是HPA
- 2.HPA原理
- 二.部署 metrics-server
- 1.node节点上传镜像包
- 2.master节点安装metrics-server
- 三.部署 HPA
- 1.所有节点安装镜像
- 2.master创建测试的 Pod 资源
- 3.创建 HPA 控制器
- 4.创建测试客户端容器
- 5.弹性缩容
- 四.扩展
- 1.资源限制 - Pod
- ①资源限制的原理
- ②格式示例
- 2.资源限制 - 命名空间
- ①计算资源配额
- ②配置对象数量配额限制
- 3.单独对某个资源进行限制(Container、Pod、PVC)
- 总
- 1.HPA
- ①概念
- ②原理
- 2.k8s 资源限制
一.HPA概念
1.什么是HPA
HPA(Horizontal Pod Autoscaling)Pod 水平自动伸缩,Kubernetes 有一个 HPA 的资源,HPA 可以根据 CPU 利用率自动伸缩一个 Replication Controller、Deployment 或者Replica Set 中的 Pod 数量。
2.HPA原理
(1)HPA 基于 Master 上的 kube-controller-manager 服务启动参数 horizontal-pod-autoscaler-sync-period 定义的时长(默认为30秒),周期性的检测 Pod 的 CPU 使用率。
(2)HPA 与之前的 RC、Deployment 一样,也属于一种 Kubernetes 资源对象。通过追踪分析 RC 控制的所有目标 Pod 的负载变化情况,来确定是否需要针对性地调整目标Pod的副本数,这是HPA的实现原理。
(3)metrics-server 也需要部署到集群中, 它可以通过 resource metrics API 对外提供度量数据。
二.部署 metrics-server
●metrics-server:是kubernetes集群资源使用情况的聚合器,收集数据给kubernetes集群内使用,如kubectl、hpa、scheduler等。
1.node节点上传镜像包
//在所有 Node 节点上传 metrics-server.tar 镜像包到 /opt 目录
cd /opt/
docker load -i metrics-server.tar
2.master节点安装metrics-server
//使用 helm install 安装 metrics-server
mkdir /opt/metrics
cd /opt/metrics
helm repo remove stable
helm repo add stable https://charts.helm.sh/stable
或
helm repo add stable http://mirror.azure.cn/kubernetes/charts
helm repo update
helm pull stable/metrics-server
vim metrics-server.yaml
args:
- --logtostderr
- --kubelet-insecure-tls
- --kubelet-preferred-address-types=InternalIP
image:
repository: k8s.gcr.io/metrics-server-amd64
tag: v0.3.2
//使用 helm install 安装 metrics-server
helm install metrics-server stable/metrics-server -n kube-system -f metrics-server.yaml
kubectl get pods -n kube-system | grep metrics-server
#需要多等一会儿
kubectl top node
kubectl top pods --all-namespaces
三.部署 HPA
1.所有节点安装镜像
//在所有节点上传 hpa-example.tar 镜像文件到 /opt 目录
hpa-example.tar 是谷歌基于 PHP 语言开发的用于测试 HPA 的镜像,其中包含了一些可以运行 CPU 密集计算任务的代码。
cd /opt
docker load -i hpa-example.tar
docker images | grep hpa-example
gcr.io/google_containers/hpa-example latest 4ca4c13a6d7c 7 years ago 481MB
2.master创建测试的 Pod 资源
//创建用于测试的 Pod 资源,并设置请求资源为 cpu=200m
mkdir /opt/HPA
cd /opt/HPA
vim hpa-pod.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
labels:
run: php-apache
name: php-apache
spec:
replicas: 1
selector:
matchLabels:
run: php-apache
template:
metadata:
labels:
run: php-apache
spec:
containers:
- image: gcr.io/google_containers/hpa-example
name: php-apache
imagePullPolicy: IfNotPresent
ports:
- containerPort: 80
resources:
requests:
cpu: 200m
---
apiVersion: v1
kind: Service
metadata:
name: php-apache
spec:
ports:
- port: 80
protocol: TCP
targetPort: 80
selector:
run: php-apache
kubectl apply -f hpa-pod.yaml
kubectl get pods
NAME READY STATUS RESTARTS AGE
php-apache-6c64bcf88b-n5fhc 1/1 Running 0 6s
3.创建 HPA 控制器
//使用 kubectl autoscale 命令创建 HPA 控制器,设置 cpu 负载阈值为请求资源的 50%,指定最少负载节点数量为 1 个,最大负载节点数量为 10 个
kubectl autoscale deployment php-apache --cpu-percent=50 --min=1 --max=10
//需要等一会儿,才能获取到指标信息 TARGETS
kubectl get hpa
NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE
php-apache Deployment/php-apache 0%/50% 1 10 1 70m
kubectl top pods
NAME CPU(cores) MEMORY(bytes)
php-apache-6c64bcf88b-n5fhc 1m 6Mi
4.创建测试客户端容器
//创建一个测试客户端容器
kubectl run -it load-generator --image=busybox /bin/sh
//增加之前提前再开一个终端,实施查看负载效果
kubectl get hpa -w
//增加之前提前再另开一个终端,实施查看pod创建效果
kubectl get pod |grep php-apache
//增加负载,(弹性扩容)
# while true; do wget -q -O- http://php-apache.default.svc.cluster.local; done
#查看负载节点数目
kubectl get hpa -w
NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE
php-apache Deployment/php-apache 0%/50% 1 10 1 87m
php-apache Deployment/php-apache 196%/50% 1 10 1 89m
php-apache Deployment/php-apache 196%/50% 1 10 4 89m
php-apache Deployment/php-apache 122%/50% 1 10 4 90m
php-apache Deployment/php-apache 122%/50% 1 10 8 90m
php-apache Deployment/php-apache 122%/50% 1 10 10 90m
php-apache Deployment/php-apache 49%/50% 1 10 10 91m
php-apache Deployment/php-apache 48%/50% 1 10 10 93m
#以上可以看到经过压测,负载节点数量最大上升到 10 个,并且 cpu 负载也随之下降。
#查看 Pod 状态,也发现已经创建了 10 个 Pod 资源
kubectl get pod |grep php-apache
kubectl get pod |grep php-apache|wc -l
#HPA 扩容的时候,负载节点数量上升速度会比较快;但回收的时候,负载节点数量下降速度会比较慢。
原因是防止在业务高峰期时因为网络波动等原因的场景下,如果回收策略比较积极的话,K8S集群可能会认为访问流量变小而快速收缩负载节点数量,而仅剩的负载节点又承受不了高负载的压力导致崩溃,从而影响业务。
#查看node节点的状态
kubectl top node
//如果 cpu 性能较好导致负载节点上升不到 10 个,可再创建一个测试客户端同时测试:
kubectl run -i --tty load-generator1 --image=busybox /bin/sh
# while true; do wget -q -O- http://php-apache.default.svc.cluster.local; done
5.弹性缩容
#结束增加负载之后,pod的数量会逐渐缩减为一个
kubectl get hpa -w
kubectl get pod |grep php-apache
四.扩展
1.资源限制 - Pod
①资源限制的原理
Kubernetes对资源的限制实际上是通过cgroup来控制的,cgroup是容器的一组用来控制内核如何运行进程的相关属性集合。针对内存、CPU 和各种设备都有对应的 cgroup。
默认情况下,Pod 运行没有 CPU 和内存的限额。这意味着系统中的任何 Pod 将能够像执行该 Pod 所在的节点一样, 消耗足够多的 CPU 和内存。一般会针对某些应用的 pod 资源进行资源限制,这个资源限制是通过 resources 的 requests 和 limits 来实现。requests 为创建 Pod 时初始要分配的资源,limits 为 Pod 最高请求的资源值。
②格式示例
spec:
containers:
- image: xxxx
imagePullPolicy: IfNotPresent
name: auth
ports:
- containerPort: 8080
protocol: TCP
resources:
limits:
cpu: "2"
memory: 1Gi
requests:
cpu: 250m
memory: 250Mi
2.资源限制 - 命名空间
①计算资源配额
apiVersion: v1
kind: ResourceQuota #使用 ResourceQuota 资源类型
metadata:
name: compute-resources
namespace: spark-cluster #指定命令空间
spec:
hard:
pods: "20" #设置 Pod 数量最大值
requests.cpu: "2"
requests.memory: 1Gi
limits.cpu: "4"
limits.memory: 2Gi
②配置对象数量配额限制
apiVersion: v1
kind: ResourceQuota
metadata:
name: object-counts
namespace: spark-cluster
spec:
hard:
configmaps: "10"
persistentvolumeclaims: "4" #设置 pvc 数量最大值
replicationcontrollers: "20" #设置 rc 数量最大值
secrets: "10"
services: "10"
services.loadbalancers: "2"
#如果Pod没有设置requests和limits,则会使用当前命名空间的最大资源;如果命名空间也没设置,则会使用集群的最大资源。
K8S 会根据 limits 限制 Pod 使用资源,当内存超过 limits 时 cgruops 会触发 OOM。
3.单独对某个资源进行限制(Container、Pod、PVC)
这里就需要创建 LimitRange 资源来设置 Pod 或其中的 Container 能够使用资源的最大默认值
apiVersion: v1
kind: LimitRange #使用 LimitRange 资源类型
metadata:
name: mem-limit-range
namespace: test #可以给指定的 namespace 增加一个资源限制
spec:
limits:
- default: #default 即 limit 的值
memory: 512Mi
cpu: 500m
defaultRequest: #defaultRequest 即 request 的值
memory: 256Mi
cpu: 100m
type: Container #类型支持 Container、Pod、PVC
总
1.HPA
①概念
为控制器管理的pod 资源的副本数量实现自动伸缩
②原理
追踪控制器管理的Pod 的负载情况, 来根据设置的阀值动态的调整Pod的副本数量
metrics-server 收集k8s中的node、pod等资源的使用情况 kubectl top node/pod
kubectl autoscale 控制器 --cpu-percent --min --maX
2.k8s 资源限制
resource ,requests/limits——限制pod 中的容器的资源量
ResourceQuota——资源类型命名空间中的资源对象或者资源量进行配额限制
LimitRanger——资源类型设置命名空间中的 Pod/容器的默认的
limits/requests——资源量的限制