【Oracle云】基于 OKE 的 Cluster AutoScaler 扩/缩容

news2024/11/18 15:42:11

Oracle Kubernetes Engine（OKE）为用户提供了便捷而强大的Kubernetes服务，而集群自动伸缩（Cluster AutoScaler）则是OKE中的一项重要功能。该功能允许根据工作负载的需要自动调整集群的大小，确保资源的最佳利用和应用的高可用性。

本文将介绍如何在Oracle云上基于OKE配置和使用集群自动伸缩，为您的Kubernetes工作负载提供动态而智能的伸缩策略，以满足不断变化的需求，实现高效的资源利用。

新年快乐！预祝大家在即将到来的龙年里，心想事成、身体健康、幸福安康，生活工作皆有所成。

1 Cluster AutoScaler架构图

1.1 扩容架构

1.2 缩容架构

1.3 最佳实践架构

结合 Cluster AutoScaler 和 Horizontal Pod Autoscaler（HPA）是目前在 OKE Kubernetes 集群自动伸缩的最佳实践。同样我们可以在整个过程集成事件通知与告警，完善整个过程的闭环。

2 OKE + Cluster AutoScaler 建议&&注意：

  • 至少保留一个集群不使用Autoscaler进行管理，用来运行核心的集群容器。
  • 构建多节点的Autoscaler，如果采用单一节点pod，当pod处在不可用状态时，将无法继续进行调度。
  • 注意指定的最大值的node，不要超过您租户的资源限制(如：CPU, 内存，node节点的个数)。
  • 建议您使用多个节点池，每个节点池由独立的AutoScaler控制。
  • 应用程序尽可能的容忍Cluster Autoscaler删除节点带来的中断性。
  • 不要手动去管理由cluster autoscaler管理的节点池。
  • 如果OKE升级版本后，需要手动升级Cluster Autoscaler，Cluster Autoscaler不会自动完成升级。

3 Cluster Autoscaler在OCI上的使用

  1. 创建隔间(compartment)级别的动态组(dynamic group) - 允许Cluster Autoscaler管理node pool的资源
  2. 创建policy以允许管理节点池
  3. 复制或自定义Cluster Autoscaler配置文件
  4. 部署Kubernetes Cluster Autoscaler清单
  5. 查看缩放管理

3.1 创建租户级别的dynamic group

# oracle-oke-cluster-autoscaler-dyn-grp
ALL {instance.compartment.id = '<compartment id>'}

3.2 创建Policy以管理node pools

Allow dynamic-group '<dynamic group name>' to manage cluster-node-pools in compartment '<comparment name>'
Allow dynamic-group '<dynamic group name>' to manage instance-family in compartment '<comparment name>'
Allow dynamic-group '<dynamic group name>' to use subnets in compartment '<comparment name>'
Allow dynamic-group '<dynamic group name>' to read virtual-network-family in compartment '<comparment name>'
Allow dynamic-group '<dynamic group name>' to use vnics in compartment '<comparment name>'
Allow dynamic-group '<dynamic group name>' to inspect compartments in compartment '<comparment name>'


#####
Allow dynamic-group oracle-oke-cluster-autoscaler-dyn-grp to manage cluster-node-pools in compartment oraclePOC
Allow dynamic-group oracle-oke-cluster-autoscaler-dyn-grp to manage instance-family in compartment oraclePOC
Allow dynamic-group oracle-oke-cluster-autoscaler-dyn-grp to use subnets in compartment oraclePOC
Allow dynamic-group oracle-oke-cluster-autoscaler-dyn-grp to read virtual-network-family in compartment oraclePOC
Allow dynamic-group oracle-oke-cluster-autoscaler-dyn-grp to use vnics in compartment oraclePOC
Allow dynamic-group oracle-oke-cluster-autoscaler-dyn-grp to inspect compartments in compartment oraclePOC
Allow dynamic-group oracle-oke-cluster-autoscaler-dyn-grp to manage instance-pools in compartment oraclePOC
Allow dynamic-group oracle-oke-cluster-autoscaler-dyn-grp to manage instance-configurations in compartment oraclePOC

3.3 构建 Cluster Autoscaler 配置清单 (官方示例)

---
apiVersion: v1
kind: ServiceAccount
metadata:
  labels:
    k8s-addon: cluster-autoscaler.addons.k8s.io
    k8s-app: cluster-autoscaler
  name: cluster-autoscaler
  namespace: kube-system
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: cluster-autoscaler
  labels:
    k8s-addon: cluster-autoscaler.addons.k8s.io
    k8s-app: cluster-autoscaler
rules:
  - apiGroups: [""]
    resources: ["events", "endpoints"]
    verbs: ["create", "patch"]
  - apiGroups: [""]
    resources: ["pods/eviction"]
    verbs: ["create"]
  - apiGroups: [""]
    resources: ["pods/status"]
    verbs: ["update"]
  - apiGroups: [""]
    resources: ["endpoints"]
    resourceNames: ["cluster-autoscaler"]
    verbs: ["get", "update"]
  - apiGroups: [""]
    resources: ["nodes"]
    verbs: ["watch", "list", "get", "patch", "update"]
  - apiGroups: [""]
    resources:
      - "pods"
      - "services"
      - "replicationcontrollers"
      - "persistentvolumeclaims"
      - "persistentvolumes"
    verbs: ["watch", "list", "get"]
  - apiGroups: ["extensions"]
    resources: ["replicasets", "daemonsets"]
    verbs: ["watch", "list", "get"]
  - apiGroups: ["policy"]
    resources: ["poddisruptionbudgets"]
    verbs: ["watch", "list"]
  - apiGroups: ["apps"]
    resources: ["statefulsets", "replicasets", "daemonsets"]
    verbs: ["watch", "list", "get"]
  - apiGroups: ["storage.k8s.io"]
    resources: ["storageclasses", "csinodes"]
    verbs: ["watch", "list", "get"]
  - apiGroups: ["batch", "extensions"]
    resources: ["jobs"]
    verbs: ["get", "list", "watch", "patch"]
  - apiGroups: ["coordination.k8s.io"]
    resources: ["leases"]
    verbs: ["create"]
  - apiGroups: ["coordination.k8s.io"]
    resourceNames: ["cluster-autoscaler"]
    resources: ["leases"]
    verbs: ["get", "update"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: cluster-autoscaler
  namespace: kube-system
  labels:
    k8s-addon: cluster-autoscaler.addons.k8s.io
    k8s-app: cluster-autoscaler
rules:
  - apiGroups: [""]
    resources: ["configmaps"]
    verbs: ["create","list","watch"]
  - apiGroups: [""]
    resources: ["configmaps"]
    resourceNames: ["cluster-autoscaler-status", "cluster-autoscaler-priority-expander"]
    verbs: ["delete", "get", "update", "watch"]

---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: cluster-autoscaler
  labels:
    k8s-addon: cluster-autoscaler.addons.k8s.io
    k8s-app: cluster-autoscaler
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: cluster-autoscaler
subjects:
  - kind: ServiceAccount
    name: cluster-autoscaler
    namespace: kube-system

---
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: cluster-autoscaler
  namespace: kube-system
  labels:
    k8s-addon: cluster-autoscaler.addons.k8s.io
    k8s-app: cluster-autoscaler
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: Role
  name: cluster-autoscaler
subjects:
  - kind: ServiceAccount
    name: cluster-autoscaler
    namespace: kube-system

---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: cluster-autoscaler
  namespace: kube-system
  labels:
    app: cluster-autoscaler
spec:
  replicas: 3
  selector:
    matchLabels:
      app: cluster-autoscaler
  template:
    metadata:
      labels:
        app: cluster-autoscaler
      annotations:
        prometheus.io/scrape: 'true'
        prometheus.io/port: '8085'
    spec:
      serviceAccountName: cluster-autoscaler
      containers:
        - image: iad.ocir.io/oracle/oci-cluster-autoscaler:{{ image tag }}
          name: cluster-autoscaler
          resources:
            limits:
              cpu: 100m
              memory: 300Mi
            requests:
              cpu: 100m
              memory: 300Mi
          command:
            - ./cluster-autoscaler
            - --v=4
            - --stderrthreshold=info
            - --cloud-provider=oci-oke
            - --max-node-provision-time=25m
            - --nodes=1:5:{{ node pool ocid 1 }}
            - --nodes=1:5:{{ node pool ocid 2 }}
            - --scale-down-delay-after-add=10m
            - --scale-down-unneeded-time=10m
            - --unremovable-node-recheck-timeout=5m
            - --balance-similar-node-groups
            - --balancing-ignore-label=displayName
            - --balancing-ignore-label=hostname
            - --balancing-ignore-label=internal_addr
            - --balancing-ignore-label=oci.oraclecloud.com/fault-domain
          imagePullPolicy: "Always"
          env:
          - name: OKE_USE_INSTANCE_PRINCIPAL
            value: "true"
          - name: OCI_SDK_APPEND_USER_AGENT
            value: "oci-oke-cluster-autoscaler"
3.3.1 image tag 设置

可以按照就近的区域选择下载的镜像，具体参考表格：

- image: iad.ocir.io/oracle/oci-cluster-autoscaler:{{ image tag }}

# 示例
- image: lhr.ocir.io/oracle/oci-cluster-autoscaler:1.24.0-5
镜像所在区域Kubernetes VersionImage Path
Germany Central (Frankfurt)Kubernetes 1.25fra.ocir.io/oracle/oci-cluster-autoscaler:1.25.0-6
Germany Central (Frankfurt)Kubernetes 1.26fra.ocir.io/oracle/oci-cluster-autoscaler:1.26.2-11
Germany Central (Frankfurt)Kubernetes 1.27fra.ocir.io/oracle/oci-cluster-autoscaler:1.27.2-9
Germany Central (Frankfurt)Kubernetes 1.28fra.ocir.io/oracle/oci-cluster-autoscaler:1.28.0-5
UK South (London)Kubernetes 1.25lhr.ocir.io/oracle/oci-cluster-autoscaler:1.25.0-6
UK South (London)Kubernetes 1.26lhr.ocir.io/oracle/oci-cluster-autoscaler:1.26.2-11
UK South (London)Kubernetes 1.27lhr.ocir.io/oracle/oci-cluster-autoscaler:1.27.2-9
UK South (London)Kubernetes 1.28lhr.ocir.io/oracle/oci-cluster-autoscaler:1.28.0-5
US East (Ashburn)Kubernetes 1.25iad.ocir.io/oracle/oci-cluster-autoscaler:1.25.0-6
US East (Ashburn)Kubernetes 1.26iad.ocir.io/oracle/oci-cluster-autoscaler:1.26.2-11
US East (Ashburn)Kubernetes 1.27iad.ocir.io/oracle/oci-cluster-autoscaler:1.27.2-9
US East (Ashburn)Kubernetes 1.28iad.ocir.io/oracle/oci-cluster-autoscaler:1.28.0-5
US West (Phoenix)Kubernetes 1.25phx.ocir.io/oracle/oci-cluster-autoscaler:1.25.0-6
US West (Phoenix)Kubernetes 1.26phx.ocir.io/oracle/oci-cluster-autoscaler:1.26.2-11
US West (Phoenix)Kubernetes 1.27phx.ocir.io/oracle/oci-cluster-autoscaler:1.27.2-9
US West (Phoenix)Kubernetes 1.28phx.ocir.io/oracle/oci-cluster-autoscaler:1.28.0-5
3.3.2 node设置

通过指定node pool 的 ocid 进行对应节点池的扩缩容

--nodes=<min-nodes>:<max-nodes>:<nodepool-ocid>
- --nodes=1:5:{{ node pool ocid 1 }}

4 验证扩缩容能力

4.1 创建 nginx deployment验证

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
spec:
  selector:
    matchLabels:
      app: nginx
  replicas: 2
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:latest
        ports:
        - containerPort: 80
        resources:
          requests:
            memory: "500Mi"

4.2 扩展Deployment Pod数量

kubectl scale deployment nginx-deployment --replicas=100

4.3 观察Deployment的变化

kubectl get deployment nginx-deployment --watch

5 参考地址

Cluster AutoScaler架构

Cluster Autoscaler - Kubernetes指南

OCI OKE Cluster AutoScaler 部署

Using the Kubernetes Cluster Autoscaler

🚀 炸鸡物料库 🚀

🔍 内容定位： IT技术领域，云计算、云原生、DevOps 和 AI 等相关的技术资讯、实践和经验分享。面向开发、系统和云计算，提供实用的技术内容。

🎯 目标受众： 面向开发者、系统管理员和云计算从业者，提供实用的技术内容。

🗓️ 更新频率：每周更新，每次分享都为您带来有价值的技术内容。

🤝 互动与反馈： 鼓励读者留言、评论，有问题随时提问，我们将积极互动并提供帮助。

💌 订阅方式： 扫描二维码或搜索“炸鸡物料库”关注，不错过每一篇精彩内容。

🌐 合作与分享： 如果您有技术分享或合作计划，欢迎联系我们，共同成长！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1435246.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

鸿蒙（HarmonyOS）项目方舟框架（ArkUI）之Rating组件

鸿蒙（HarmonyOS）项目方舟框架（ArkUI）之Rating组件

鸿蒙&#xff08;HarmonyOS&#xff09;项目方舟框架&#xff08;ArkUI&#xff09;之Rating组件 一、操作环境 操作系统: Windows 10 专业版、IDE:DevEco Studio 3.1、SDK:HarmonyOS 3.1 二、Rating组件 提供在给定范围内选择评分的组件。 子组件 无。 接口 Rating(opt…
阅读更多...
如何在HA智能家居系统中添加HACS集成并实现异地控制家中苹果与小米设备

如何在HA智能家居系统中添加HACS集成并实现异地控制家中苹果与小米设备

文章目录 基本条件一、下载HACS源码二、添加HACS集成三、绑定米家设备 ​ 上文介绍了如何实现群晖Docker部署HomeAssistant&#xff0c;通过内网穿透在户外控制家庭中枢。本文将介绍如何安装HACS插件商店&#xff0c;将米家&#xff0c;果家设备接入 Home Assistant。 基本条件…
阅读更多...
NLP_Bag-Of-Words(词袋模型)

NLP_Bag-Of-Words(词袋模型)

文章目录 词袋模型用词袋模型计算文本相似度1.构建实验语料库2.给句子分词3.创建词汇表4.生成词袋表示5.计算余弦相似度6.可视化余弦相似度 词袋模型小结 词袋模型 词袋模型是一种简单的文本表示方法&#xff0c;也是自然语言处理的一个经典模型。它将文本中的词看作一个个独立…
阅读更多...
【VUE】UniAPP之uview组件库，自定义tag封装，支持添加u-icon图标

【VUE】UniAPP之uview组件库，自定义tag封装，支持添加u-icon图标

组件代码 <template><view class"tag" :class"[props.mode, props.shape]"><slot name"left"><!-- icon图标 没有传入图标时不显示 --><u-icon v-if"props.icon ! " :name"props.icon" :color&…
阅读更多...
Springboot+vue的企业财务管理系统（有报告）。Javaee项目，springboot vue前后端分离项目

Springboot+vue的企业财务管理系统（有报告）。Javaee项目，springboot vue前后端分离项目

演示视频&#xff1a; Springbootvue的企业财务管理系统&#xff08;有报告&#xff09;。Javaee项目&#xff0c;springboot vue前后端分离项目 项目介绍&#xff1a; 本文设计了一个基于Springbootvue的前后端分离的企业财务管理系统&#xff0c;采用M&#xff08;model&…
阅读更多...
Oracle笔记-为表空间新增磁盘（ORA-01691）

Oracle笔记-为表空间新增磁盘（ORA-01691）

如下报错&#xff1a; 原因是Oracle表空间满了&#xff0c;最好是新增一个存储盘。 #查XXX命名空间目前占用了多大的空间 select FILE_NAME,BYTES/1024/1024 from dba_data_files where tablespace_name XXXX #这里的FILE_NAME能查到DBF的存储位置#将对应的datafile设置为30g…
阅读更多...
02.05

02.05

1.单链表 main #include "1list_head.h" int main(int argc, const char *argv[]) { //创建链表之前链表为空Linklist headNULL;int n;datatype element;printf("please enter n:");scanf("%d",&n);for(int i0;i<n;i){printf("ple…
阅读更多...
市场复盘总结 20240205

市场复盘总结 20240205

仅用于记录当天的市场情况&#xff0c;用于统计交易策略的适用情况&#xff0c;以便程序回测 短线核心&#xff1a;不参与任何级别的调整&#xff0c;采用龙空龙模式 一支股票 10%的时候可以操作&#xff0c; 90%的时间适合空仓等待 二进三&#xff1a; 进级率低 50% 最常用…
阅读更多...
macOS Sonoma 14系统安装包

macOS Sonoma 14系统安装包

macOS Sonoma 14是苹果公司最新推出的操作系统&#xff0c;为Mac用户带来了全新的使用体验。Sonoma是苹果继Catalina之后的又一重要更新&#xff0c;它在改善系统性能、增加新功能、优化用户界面等方面做出了显著贡献。 macOS Sonoma 14系统有许多令人兴奋的新功能和改进&…
阅读更多...
R语言：箱线图绘制（添加平均值趋势线）

R语言：箱线图绘制（添加平均值趋势线）

箱线图绘制 1. 写在前面2.箱线图绘制2.1 相关R包导入2.2 数据导入及格式转换2.3 ggplot绘图 1. 写在前面 今天有时间把之前使用过的一些代码和大家分享&#xff0c;其中箱线图绘制我认为是非常有用的一个部分。之前我是比较喜欢使用origin进行绘图&#xff0c;但是绘制的图不太…
阅读更多...
读千脑智能笔记05_千脑智能理论

读千脑智能笔记05_千脑智能理论

1. 现有的新皮质理论 1.1. 最普遍的看法是新皮质就像一个流程图 1.2. 特征层次理论 1.2.1. 该理论最大的弊端在于认为视觉是个静止的过程&#xff0c;就像拍一张照片一样&#xff0c;但事实并非如此 1.2.1.1. 眼睛每秒会快速转…
阅读更多...
考研数据结构笔记（1）

考研数据结构笔记（1）

数据结构&#xff08;1&#xff09; 数据结构在学什么&#xff1f;数据结构的基本概念基本概念三要素逻辑结构集合线性结构树形结构图结构 物理结构&#xff08;存储结构&#xff09;顺序存储链式存储索引存储散列存储重点 数据的运算 算法的基本概念什么是算法算法的五个特性有…
阅读更多...
MATLAB知识点：矩阵的除法

MATLAB知识点：矩阵的除法

​讲解视频&#xff1a;可以在bilibili搜索《MATLAB教程新手入门篇——数学建模清风主讲》。​ MATLAB教程新手入门篇&#xff08;数学建模清风主讲&#xff0c;适合零基础同学观看&#xff09;_哔哩哔哩_bilibili 节选自第3章 3.4.2 算术运算 下面我们再来介绍矩阵的除法。事…
阅读更多...
蓝桥杯----凑算式

蓝桥杯----凑算式

这个算式中A~I代表1~9的数字,不同的字母代表不同的数字。 比如: 68/3952/714 就是一种解法, 53/1972/486 是另一种解法. 这个算式一共有多少种解法? 注意:你提交应该是个整数,不要填写任何多余的内容或说明性文字。
阅读更多...
图解Vue组件通讯【一图胜千言】

图解Vue组件通讯【一图胜千言】

Vue的每个组件都有独自的作用域&#xff0c;组件间的数据是无法共享的&#xff0c;但实际开发工作中我们常常需要让组件之间共享数据&#xff0c;今天我们来学习下面三种组件通信方式&#xff1a; 父子组件之间的通信 兄弟组件之间的通信 祖先与后代组件之间的通信 1. 父子组件…
阅读更多...
MIPS指令集处理器设计(支持64条汇编指令)

MIPS指令集处理器设计(支持64条汇编指令)

一、题目背景和意义 二、国内外研究现状 (略) 三、MIPS指令集处理器设计与实现 (一).MIPS指令集功能性梳理 1.MIPS指令集架构 (1).mips基础指令集格式总结 MIPS是&#xff08;Microcomputer without interlocked pipeline stages&#xff09;[10]的缩写&#xff0c;含义是…
阅读更多...
开源免费的物联网网关 IoT Gateway

开源免费的物联网网关 IoT Gateway

1. 概述 物联网网关&#xff0c;也被称为IOT网关&#xff0c;是一种至关重要的网络设备。在物联网系统中&#xff0c;它承担着连接和控制各种设备的重要任务&#xff0c;将这些设备有效地连接到云端、本地服务器或其他设备上。它既能够在广域范围内实现互联&#xff0c;也能在…
阅读更多...
JAVASE进阶：Collection高级（2）——源码剖析ArrayList、LinkedList、迭代器

JAVASE进阶：Collection高级（2）——源码剖析ArrayList、LinkedList、迭代器

&#x1f468;‍&#x1f393;作者简介&#xff1a;一位大四、研0学生&#xff0c;正在努力准备大四暑假的实习 &#x1f30c;上期文章&#xff1a;JAVASE进阶&#xff1a;Collection高级&#xff08;1&#xff09;——源码分析contains方法、lambda遍历集合 &#x1f4da;订阅…
阅读更多...
IP地址信息在保险行业的创新应用与解决方案

IP地址信息在保险行业的创新应用与解决方案

随着数字化时代的来临&#xff0c;保险行业正积极探索新的技术手段&#xff0c;以提升服务效能、降低风险&#xff0c;并更好地满足客户需求。IP地址信息作为一种重要的数字化工具&#xff0c;在保险行业中展现了广泛的应用前景。IP数据云将深入探讨IP地址信息在保险行业中的创…
阅读更多...
【极数系列】Flink集成KafkaSource 实时消费数据（10）

【极数系列】Flink集成KafkaSource 实时消费数据（10）

文章目录 01 引言02 连接器依赖2.1 kafka连接器依赖2.2 base基础依赖 03 连接器使用方法04 消息订阅4.1 主题订阅4.2 正则表达式订阅4.3 Partition 列分区订阅 05 消息解析06 起始消费位点07 有界 / 无界模式7.1 流式7.2 批式 08 其他属性8.1 KafkaSource 配置项&#xff08;1&…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023