Apache Flink 任务 Tasks 和任务槽 Task Slots

news2025/1/12 20:54:08

目录

任务槽(Task Slots)

任务槽数量的设置

任务对任务槽的共享

任务槽和并行度的关系


任务槽(Task Slots)

        Flink 中每一个 worker(也就是 TaskManager)都是一个 JVM 进程,它可以启动多个独立的线程,来并行执行多个子任务(subtask);
        为了控制并发量,我们需要在 TaskManager 上对每个任务运行所占用的资源做出明确的划分,这就是所谓的任务槽(task slots);
        每个任务槽(task slot)其实表示了TaskManager拥有计算资源的一个固定大小的子集。这些资源就是用来独立执行一个子任务的。

任务槽数量的设置

        我们可以通过集群的配置文件来设定 TaskManager 的 slots 数量:

taskmanager.numberOfTaskSlots: 8

        通过调整 slots 的数量,我们就可以控制子任务之间的隔离级别。需要注意的是,slots 目前仅仅用来隔离内存,不会涉及 CPU 的隔离。

任务对任务槽的共享

        默认情况下,Flink 允许子任务共享 slots。如图 4-14 所示,只要属于同一个作业,那么对于不同任务节点的并行子任务,就可以放到同一个 slot 上执行。

        如果希望某个算子对应的任务完全独占一个 slot,或者只有某一部分算子共享 slots,我们也可以通过设置“slot 共享组”(SlotSharingGroup)手动指定:

.map((_,1)).slotSharingGroup(“1”);

        这样,只有属于同一个 slot 共享组的子任务,才会开启 slots 共享;不同组之间的任务是完全隔离的,必须分配到不同的 slots 上。

任务槽和并行度的关系

        slots 和并行度确实都跟程序的并行执行有关,但两者是完全不同的概念。简单来说,task slots 是 静 态 的 概 念 , 是 指 TaskManager 具 有 的 并 发 执 行 能 力 , 可 以 通 过 参 数taskmanager.numberOfTaskSlots 进行配置;而并行度(parallelism)是动态概念,也就是TaskManager 运行程序时实际使用的并发能力,可以通过参数 parallelism.default 进行配置。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/110416.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【数据结构】详解队列和循环队列

目录一.队列1.队列的概念及结构2.队列的实现Queue.hQueue.c二.循环队列1.循环队列的实现2.设计循环队列解题思路代码一.队列 1.队列的概念及结构 队列:只允许在一端进行插入数据操作,在另一端进行删除数据操作的特殊线性表,队列具有先进先出…

四、网络层(六)移动IP

目录 6.1 移动IP的概念 6.2 移动IP的基本工作原理 6.2.1代理发现与注册 6.2.2固定主机向移动主机发送IP数据报 6.2.3移动主机向固定主机发送IP数据报 6.2.4同址转交地址(简单了解) 6.2.5三角形路由问题(简单了解) 6.1 移…

事关你“吃住行游购娱”的12项安全国标图解来了

标准是安全建设的“尺子”。近期,国家市场监督管理总局、国家标准化管理委员会发布中华人民共和国国家标准公告(2022年第13号),全国信息安全标准化技术委员会归口的14项网络安全国家标准获批发布,其中12项涉及数据安全…

不同类型单板布线策略6大类

类型一PCB布线策略 一 ,类型一主要特征如下: 严格的长度规则、严格的串扰规则、拓扑规则、差分规则、电源地规则等。 二,关键网络的处理:总线定义Class; 要求满足一定的拓扑结构、stub及其长度(时域&a…

关于模型中的R方

1、一元线性回归 R方在一元线性回归模型中,衡量【响应变量X和预测变量Y】的线性关系。 R方cor(X,Y)^2 但是,在多元线性回归模型中,因为涉及多个预测变量,全部R方就是衡量响应变量和多个预测变量当中的关系。 而有关…

阿里云张献涛:高性能计算发展的三大趋势

12 月 12-15 日,第十八届 CCF 全国高性能计算学术年会(以下简称 CCF HPC China 2022)以线上的方式举行,国内外众多知名专家学者,以及高性能计算产业界的头部企业代表云上相聚,探讨高性能计算的发展趋势。阿…

zabbix6.0安装教程(五):二进制包安装

zabbix6.0安装教程(五):二进制包安装 目录一、使用ZABBIX官方存储库二、Red Hat zabbix企业版 Linux/CentOS1. 概述2. 安装注意事项2.1 使用 Timescale DB 导入数据2.2 PHP 7.22.3 配置 SELinux3. Proxy 安装3.1 创建数据库3.2 导入数据3.3 为…

计算机网络原理第5章 运输层(12.24完结)

目录~ 5.1 运输层协议概述 5.1.1 进程之间的通信 从通信和信息处理的角度看,运输层向它上面的应用层提供通信服务,它属于面向通信部分的最高层,同时也是用户功能中的最低层。 当网络的边缘部分中的两个主机使用网络的核心部分的功能进行…

再学C语言12:字符串(3)——转换说明

一、转换说明的意义 意义:把存储在计算机中的二进制格式的数值转换成一系列字符(一个字符串)以便于显示;实质上是翻译说明,并不会替代原值 应该使转换说明与要打印的值的类型相匹配 参数传递机制 float n1; double …

陈都灵现身海南国际电影节,新片《关索岭》票房有望超《阿凡达》

刚送走了厦门金鸡奖,又迎来了海南电影节,第四届国际电影节,已经在美丽的海南岛拉开帷幕。 众多的中国优秀电影人,都欢聚一堂共话未来,为中国电影的发展献言献策,也展现出电影人的精神风貌。 在本届电影节走…

WMS系统这么重要?一文教你找到理想中的WMS系统

无论是在线上还是线下,相信大家都见过各式各样的仓库,或杂乱或整洁,有的还在使用传统的纸单作业模式,有的已经进入全自动化无人作业模式。然而,随着仓储物流行业竞争愈发激烈,以及数智化转型浪潮席卷而来&a…

python中logging模块的一些简单用法

用Python写代码的时候,在想看的地方写个print xx 就能在控制台上显示打印信息,这样子就能知道它是什么了,但是当我需要看大量的地方或者在一个文件中查看的时候,这时候print就不大方便了,所以Python引入了logging模块来…

小学生C++编程基础 课程8(B)

919.3数排序 ( 课程8) 登录 920.求最小值 (课程8) 登录 921.排名 (课程8) 登录 922.中间数 ( 课程8) 难度:1 登录 923.判断闰年 (课程8) 难度:1 登录 924.天数 (课程8) 难度:1 登录 《小学生C趣味编程…

Splunk Enterprise 存在任意代码执行漏洞

漏洞描述 Splunk 是一款机器数据的引擎,可用于收集、索引和利用所有应用程序、服务器和设备生成的快速移动型计算机数据 。 Splunk 受影响版本存在任意代码执行漏洞,经过身份验证的攻击者可利用此漏洞通过创建包含恶意代码的 SimpleXML 仪表板&#xf…

说话人识别中的损失函数

损失函数 损失函数L(yi,y^i)L(y_i,\hat{y}_i)L(yi​,y^​i​)用来描述神经网络的输出y^i\hat{y}_iy^​i​和基本事实(Ground Truth,GT)yiy_iyi​的差异对于回归问题,常用均方误差(Mean Square Error,MSE&a…

IB成绩该如何换算GPA?

今天就简单介绍下IB课程分数与GPA以及英国的UCAS Tariff points的分数换算! 网传的换算方法是这样的: 以IB单科满分是7分为前提,那么把IB成绩换算成四分制的GPA的方式是:将IB课程分数除以7再乘以4。 举个例子,你某门科…

【有营养的算法笔记】从推导证明的角度深剖前缀和与差分算法

👑作者主页:进击的安度因 🏠学习社区:进击的安度因(个人社区) 📖专栏链接:有营养的算法笔记 文章目录一、一维前缀和1、算法推导2、代码实现二、二维前缀和1、算法推导2、代码实现三…

数据库范式

1 数据库范式 完全函数依赖 (Sno,Cno) —> Grade 是完全函数依赖,学号不能得出成绩,学科号也不能推出成绩。 部分函数依赖 (Sno,Cno) --> Sdept 是部分函数依赖,学号能推出院系。 传递依赖 Sno --> Sdep…

肝了十天半月,献上纯手绘“Spring/Cloud/Boot/MVC”全家桶脑图

01 纯手绘Spring思维脑图 纯手绘Spring思维脑图 1.1 基本概念 纯手绘Spring思维脑图-基本概念 事先申明:Spring/Cloud/Boot/MVC的手绘思维脑图以及详细部分解读,这边都是以截图的形式展示出来,如果需要完整的全部原件xmin思维脑图https://gi…

Shell ❀ 三剑客 - Grep + Sed + Awk

文章目录八、三剑客 - Grep Sed Awk1、Grep - 过滤1.1 常用grep参数1.2 使用方法2、Sed - 行匹配2.1 执行原理2.2 常见语法2.3 使用方法2.3.1 地址边界的设定2.3.2 基础编辑命令2.3.3 扩展操作2.3.4 命令执行案例3、Awk - 列匹配3.1 awk能做什么3.2 执行原理3.3 命令的使用3.…