Job 和 DaemonSet

news2025/4/12 8:41:31

一、Job

1Job 背景问题

K8s 里,最小的调度单元是 Pod,如果直接通过 Pod 来运行任务进程,会产生以下几种问题:

如何保证 Pod 内进程正确的结束?

如何保证进程运行失败后重试?

如何管理多个任务,且任务之间有依赖关系?

如何并行地运行任务,并管理任务的队列大小?

2Job:管理任务的控制器

Kubernetes 的 Job 为我们提供了什么功能:

创建一个或多个Pod确保指定数量的Pod可以成功地运行终止;

跟踪Pod状态,根据配置及时重试失败的 Pod;

确定依赖关系,保证上一个任务运行完毕后再运行下一个任务;

控制任务并行度,并根据配置确保Pod 队列大小。

3、Job 解读:

(1) Job 语法:

① metadata 里面的 name 指定这个 Job 的名称,spec.template 是 pod 的 spec。

② restartPolicy 重启策略:

在 Job 里面可以设置 Never、OnFailure、Always 这三种重试策略。

Never 表示不会重启 Pod,即使 Pod 失败也不会重启。

OnFailure 表示只有在 Pod 失败时才会重启。

Always 表示无论何时,都会尝试重启 Pod,即使它已经成功运行。

③ backoffLimit 重试次数限制:

Job 在运行的时候不可能去无限的重试,需要一个参数来控制重试的次数。backoffLimit 就是来保证一个 Job 到底能重试多少次。

(2) 查看 Job 状态:

Job 创建完成之后,可以通过 kubectl get jobs 这个命令,查看当前 job 的运行状态。

(3) 查看 Pod:

通过 Job 创建出来的 Pod 比普通的 Pod 多了一个 ownerReferences,用来声明此 pod 是归哪个上一层 controller 来管理。可以通过 pod 返查到它的控制器是谁,同时也能根据 Job 来查一下它下属有哪些 Pod。

(4) 并行 Job:

Job 控制器可以并行出 n 个 Pod 去快速地执行,同时设置并行度。

主要看两个参数:一个是 completions,一个是 parallelism。

第一个参数是用来指定 Pod 队列执行次数。可以把它认为是这个 Job 指定的可以运行的总次数。比如这里设置成 8,即这个任务一共会被执行 8 次。

第二个参数代表这个并行执行的个数。所谓并行执行的次数,就是一个管道或者缓冲器中缓冲队列的大小,把它设置成 2,就是说这个 Job 要执行 8 次,每次并行 2 个 Pod,这样的话,一共会执行 4 个批次。

(5) Cronjob

CronJob,也叫定时运行 Job。它可以设计一个时间决定 Job 在几点几分执行。

① schedule:这个字段主要设置时间格式。

② startingDeadlineSeconds:每次运行 Job 的时候,它最长可以等多长时间,如果超过时间,CronJob 就会停止这个 Job。

③ concurrencyPolicy:是否允许并行运行。如果这个 policy 设置为 true 的话,不管前面的 Job 是否运行完成,下一个 Job 都会去执行;如果是 false,它就会等上一个 Job 运行完成之后才会运行下一个。

④ JobsHistoryLimit:每一次 CronJob 运行完之后,它都会遗留上一个 Job 的运行历史、查看时间。可以根据需要设置历史存留数,一般可以设置默认 10 个或 100 个。

二、DaemonSet

1DaemonSet 背景问题

如何保证每个节点都运行一个pod?

如果新节点加入集群,如何感知并部署对应的Pod?

如果有节点退出,如何删除对应的Pod?

如果Pod状态异常,如何监控并恢复Pod的状态 ?

2DaemonSet 功能:

保证集群内每一个(或者一些)节点都运行一组相同的 Pod;

跟踪集群节点状态,保证新加入的节点自动创建对应的 Pod;

跟踪集群节点状态,保证移除的节点删除对应的 Pod;

跟踪 Pod 状态,保证每个节点 Pod 处于运行状态。

3、DaemonSet 语法:

(1) 查看 DaemonSet 状态:

创建完 DaemonSet 之后,我们可以使用 kubectl get DaemonSet(DaemonSet 缩写为 ds)

(2) 更新 DaemonSet:

DaemonSet 有两种更新策略:一个是 RollingUpdate,另一个是 OnDelete

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1459324.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

vue使用Nprogress进度条功能实现

下图中的这种顶部进度条是非常常见的,在vue项目中有对应的插件:Nprogress。 实现效果: csdn也在使用: 或者这样自己使用 1、安装 NProgress可以通过npm安装。 npm install --save nprogress 注意此处的--save等同于-s,就是将…

Arcmap excel转shp

使用excel表格转shp的时候,如果你的excel里面有很多字段,直接转很大概率会出现转换结果错误的情况,那么就需要精简一下字段的个数。将原来的表格文件另存一份,在另存为的文件中只保留关键的经度、纬度、和用于匹配的字段即可&…

RuntimeError: CUDA out of memory.【多种场景下的解决方案】

RuntimeError: CUDA out of memory.【多种场景下的解决方案】 🌈 个人主页:高斯小哥 🔥 高质量专栏:【Matplotlib之旅:零基础精通数据可视化】 🏆🏆关注博主,随时获取更多关于深度学…

6.2 数据库

本节介绍Android的数据库存储方式--SQLite的使用方法,包括:SQLite用到了哪些SQL语法,如何使用数据库管理操纵SQLitem,如何使用数据库帮助器简化数据库操作,以及如何利用SQLite改进登录页面的记住密码功能。 6.2.1 SQ…

将Windows电脑右下角的“中”字或“英”字输入法状态隐藏的方法

本文介绍在Windows 11操作系统中,将任务栏右下角的语言栏的“中”、“英”标识加以隐藏、消除的一种或许可行的方法。 最近换了新电脑,终于用上了Windows 11操作系统。但是,默认状态下,在任务栏最右侧,也就是屏幕右下角…

5. D. In Love(贪心)

题目链接 D. In Love 题意 线段的集合,有两种操作 插入一个线段删除一个线段 每次操作后都要去查询是否存在两个线段不相交 题解 首先先看两个线段不相交需要满足什么条件 也就是较 大 l > 小 r 大l>小r 大l>小r即可满足不相交 我们进行推广 当集合…

C++ 之LeetCode刷题记录(三十一)

😄😊😆😃😄😊😆😃 开始cpp刷题之旅。 目标:执行用时击败90%以上使用 C 的用户。 5. 最长回文子串 给你一个字符串 s,找到 s 中最长的回文子串。 如果字符…

Nodejs 第三十八章(mysql2)

在之前的篇章中,已经补充完成mysql的基本知识,那么现在开始,我们需要把mysql和express,nodejs连接起来。 安装依赖 npm install mysql2 express js-yamlmysql2 用来连接mysql和编写sq语句express 用来提供接口 增删改差js-yaml 用来编写配置…

String类的常用功能

目录 1.概述 2.String的不可变性 2.1 说明 2.2 代码举例 2.3 图示 3.String实例化的不同方式 3.1 方式说明 3.2 代码举例 3.3 面试题 3.4 图示 4. 字符串拼接方式赋值的对比 4.1 说明 4.2 代码举例 5.常用方法: 6. String与其它结构的转换 6.1 与基…

Java学习心得感悟

在我踏入Java学习的道路之前,我对编程只是一知半解,对于代码的世界充满了好奇和向往。然而,当我真正开始学习Java时,我才意识到,学习Java不仅仅是学习一门编程语言,更是一种思维方式和解决问题的能力的培养…

【动态规划专栏】专题二:路径问题--------6.地下城游戏

本专栏内容为:算法学习专栏,分为优选算法专栏,贪心算法专栏,动态规划专栏以及递归,搜索与回溯算法专栏四部分。 通过本专栏的深入学习,你可以了解并掌握算法。 💓博主csdn个人主页:小…

【计算机考研】408系统学习法

计算机专业课基本上都是数据结构,计算机组成原理,计算机网络和操作系统中的内容 如果你考的学校是自命题,那么考察的专业课一般比较少,只有1-3门,比较顶尖的学校自命题考的比408还要难。如果考的是408,那么…

【Vue3】使用ref与reactive创建响应式对象

💗💗💗欢迎来到我的博客,你将找到有关如何使用技术解决问题的文章,也会找到某个技术的学习路线。无论你是何种职业,我都希望我的博客对你有所帮助。最后不要忘记订阅我的博客以获取最新文章,也欢…

7.98万的秦PLUS够低,8.68万的卡罗拉已高攀不起!

文 | AUTO芯球 作者 | 雷歌 燃起来啦! 新能源汽车的价格战,简直打到准车主的心坎里来了。 就在昨天,比亚迪先打响第一枪,秦PLUS瞄准同级别油车,冲锋号是“电比油低”。 2024款的秦PLUS DM-i荣耀版和驱逐舰05荣耀版…

ESP32-Cam学习(2)——PC实时显示摄像头画面

具体代码和操作过程见: 3. 实时显示摄像头画面 (itprojects.cn)https://doc.itprojects.cn/0006.zhishi.esp32/02.doc/index.html#/e03.showvideo我主要记录一下我在复现的过程中,遇到的问题以及解决方法。 1.安装第三方库 首先电脑端的代码需要用pych…

Java基础(二十五):Lambda表达式、方法引用、构造器引用

Java基础系列文章 Java基础(一):语言概述 Java基础(二):原码、反码、补码及进制之间的运算 Java基础(三):数据类型与进制 Java基础(四):逻辑运算符和位运算符 Java基础(五):流程控制语句 Java基础(六)&#xff1…

华为---RSTP(二)---RSTP基本配置示例

目录 1. 示例要求 2. 网络拓扑图 3. 配置命令 4. 测试终端连通性 5. RSTP基本配置 5.1 启用STP 5.2 修改生成树协议模式为RSTP 5.3 配置根交换机和次根交换机 5.4 设置边缘端口 6. 指定端口切换为备份端口 7. 测试验证网络 1. 示例要求 为防止网络出现环路&#xf…

芋道-------如何实现工作流退回后重新提交到之前退回的节点

一、概述 上一节,我们讲过了工作流如何退回到申请人,接下来我们来讲一讲,如何重新提交。这里重新提交可以是再走一遍正常流程,同时也可以是直接跳过中间的步骤,直接继续给上一步退回的人审批。文章中会提及这两种情况。…

2、windows环境下vscode开发c/c++环境配置(一)

前言:VSCode是微软出的一款轻量级编辑器,它本身只是一款文本编辑器而已,并不是一个集成开发环境(IDE),几乎所有功能都是以插件扩展的形式所存在的。因此,我们想用它编程,不只是把vscode下载下来就行&#x…

MQ最终一致性理论与实践

MQ最终一致性理论与实践 原理 分布式事务无论是2PC&3PC还是TCC,基本都遵守XA协议的思想,但全局事务方案并发性较差; 最终一致性方案指的是将最有可能出错的业务以本地事务的方式完成后,采用不断重试的方式(不限…