【Flink】Flink架构及组件

news2024/11/21 1:46:03

我们学习大数据知识的时候,需要知道大数据组件如何安装以及架构组件,这将帮助我们更好的了解大数据组件

对于大数据Flink,架构图图下:

 整个架构图有三种关键组件

1、Client:负责作业的提交。调用程序的 main 方法,将代码转换成“数据流图“(DataflowGraph),并最终生成作业图(JobGraph),一并发送给 JobManager。同时客户端也可以随时连接到 JobManager,获取当前作业的状态和执行结果,也可以发送请求取消作业

2、JobManager :是一个 Flink 集群中任务管理和调度的核心,是控制应用执行的主进程。也就
是说,每个应用都应该被唯一的 JobManager 所控制执行

3、TaskManager:是 Flink 中的工作进程,数据流的具体计算就是它来做的,所以也被称为
“Worker”。Flink 集群中必须至少有一个 TaskManager;当然由于分布式计算的考虑,通常会
有多个 TaskManager 运行,每一个 TaskManager 都包含了一定数量的任务槽(task slots)。Slot
是资源调度的最小单位,slot 的数量限制了 TaskManager 能够并行处理的任务数量。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/918833.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

基于乌鸦算法优化的BP神经网络(预测应用) - 附代码

基于乌鸦算法优化的BP神经网络(预测应用) - 附代码 文章目录 基于乌鸦算法优化的BP神经网络(预测应用) - 附代码1.数据介绍2.乌鸦优化BP神经网络2.1 BP神经网络参数设置2.2 乌鸦算法应用 4.测试结果:5.Matlab代码 摘要…

Spring练习31---用户添加操作--添加数据到数据库,最终添加讲师,助教操作最终完毕

视频链接:16-Spring练习-用户添加操作-添加数据到数据库_哔哩哔哩_bilibili 104 1、当你点击提交时,form表单进行提交 2、这个名字必须跟你当前封装的属性名一样 3、要封装跟user的属性名一样,这样springMVc才能自动封装进去 4、提交时选择r…

Cyanine5-alkyne在无机纳米领域的应用-星戈瑞

​欢迎来到星戈瑞荧光stargraydye!小编带您盘点: Cyanine5-alkyne在无机纳米领域也有着诸多的应用,主要体现在以下几个方面: **1. 纳米颗粒表面功能化:**Cyanine5-alkyne作为反应性的炔基官能团,可以与含有…

springboot之@Async异步定时任务自定义线程池

在应用中经常会遇到定时执行任务的需求,这时采用异步的方式开启一个定时任务,通常引用Async注解,但直接使用会有风险,当我们没有指定线程池时,会默认使用其Spring自带的 SimpleAsyncTaskExecutor 线程池,会…

Elasticsearch Split和shrink API

背景: 尝试解决如下问题:单分片存在过多文档,超过lucene限制 分析 1.一般为日志数据或者OLAP数据,直接删除索引重建 2.尝试保留索引,生成新索引 - 数据写入新索引,查询时候包含 old_index,new_index 3.…

一、数据库基础

数据库 一、数据库基础 1、一些概念 数据库:数据库(DataBase ,简称DB),就是信息的集合。数据库是由数据库管理系统管理的数据的集合;数据库管理系统:简称DBMS 。是一种操纵和管理数据库的大型…

听GPT 讲Prometheus源代码--tsdb

题图来自 Prometheus TSDB (Part 1): The Head Block[1] tsdb 目录在 Prometheus 项目中承担了实现时间序列数据库(Time Series Database)的功能。Prometheus 使用这个自定义的时间序列数据库来高效地存储和查询监控数据。 在 tsdb 目录下,有…

这所C9无歧视!专业课简单,平均130分!

一、学校及专业介绍 哈尔滨工业大学(Harbin Institute of Technology,简称哈工大),是隶属于工业和信息化部的全国重点大学,位于哈尔滨市,九校联盟“C9”之一,位列国家“双一流”、“985工程”、…

连接未来 驱动创新|腾讯云 CODING DevOps 主题沙龙诚邀您的参与

点击链接了解详情 随着企业数字化转型步入深水区,DevOps 作为数字化转型关键的内建阶段,其应用和实施已经成为企业提升研发效率,实现快速迭代和持续交付的重要手段。然而如何有效地实施 DevOps,如何利用 DevOps 推动业务发展和创新…

Wireshark数据抓包分析之UDP协议

一、实验目的: 通过使用wireshark对UDP数据包的抓取分析UDP协议的内容 二、预备知识: UDP协议的概念:UDP使用底层的互联网协议来传送报文,同IP一样提供不可靠的无连接传输服务。它也不提供报文到达确认、排序及流量控制等功能。 …

kafka复习:(4)为什么默认情况下相同的key不为空的消息会被存储到相同的分区

默认分区器DefaultPartitioner的分区代码: 可以看到,消息最终落在哪个分区就是由总计有几个分区以及key的值来决定的。

EG3D: Efficient Geometry-aware 3D Generative Adversarial Networks [2022 CVPR]

长期以来,仅使用单视角二维照片集无监督生成高质量多视角一致图像和三维形状一直是一项挑战。现有的三维 GAN 要么计算密集,要么做出的近似值与三维不一致;前者限制了生成图像的质量和分辨率,后者则对多视角一致性和形状质量产生不…

推荐这11个平面设计软件,平面设计师必备好物

今天本文整理了大厂设计师都在用的平面设计软件,为设计师的平面设计工作高效赋能,一起来看看吧! 1、即时设计 即时设计是国内很多设计师或者设计团队都在用的平面设计软件,它能为个人设计师带来丰富的创作力和多样的平面设计功能…

UE学习记录03----UE5.2 使用拖拽生成模型

0.创建蓝图控件,自己想要展示的样子 1.侦测鼠标拖动 2.创建拖动操作 3.拖动结束时生成模型 3.1创建actor , 创建变量EntityMesh设为可编辑 生成Actor,创建变量EntityMesh设为可编辑 屏幕鼠标位置转化为3D场景位置 4.将texture设置为变量并设为可编辑&am…

ssm网上医院预约挂号系统源码和论文

ssm网上医院预约挂号系统源码和论文051 开发工具:idea 数据库mysql5.7 数据库链接工具:navcat,小海豚等 技术:ssm 摘 要 如今的信息时代,对信息的共享性,信息的流通性有着较高要求,因此传统管理方式…

SpringCloud教程 | 第五篇: 路由网关(zuul)

在微服务架构中,需要几个基础的服务治理组件,包括服务注册与发现、服务消费、负载均衡、断路器、智能路由、配置管理等,由这几个基础组件相互协作,共同组建了一个简单的微服务系统。一个简单的微服务系统如下图: 注意&…

interview1-DB篇

需要项目经验可自行上Gitee寻找项目资源 一、Redis篇 1、缓存 缓存的要点可分为穿透、击穿、雪崩,双写一致、持久化,数据过期、淘汰策略。 (1)穿透、击穿、雪崩 1.缓存穿透 查询一个不存在的数据,mysql查询不到数据…

Ansible学习笔记(一)

1.什么是Ansible 官方网站:https://docs.ansible.com/ansible/latest/installation_guide/intro_installation.html Ansible是一个配置管理和配置工具,类似于Chef,Puppet或Salt。这是一款很简单也很容易入门的部署工具,它使用SS…

Linux学习记录——이십오 多线程(2)

文章目录 1、理解原生线程库线程局部存储 2、互斥1、并发代码(抢票)2、锁3、互斥锁的实现原理 3、线程封装1、线程本体2、封装锁 4、线程安全5、死锁6、线程同步1、条件变量1、接口2、demo代码 1、理解原生线程库 线程库在物理内存中存在,也…

常用性能测试工具及其功能

在软件开发周期的不同阶段,性能测试工具被广泛用于评估系统的性能和发现潜在的性能瓶颈。本文介绍了几种常用的性能测试工具,包括负载测试工具、压力测试工具和基准测试工具,并详细描述了它们的功能和用法。 性能测试在软件开发的各个阶段都至…