《Flink学习笔记》——第三章 Flink的部署模式

news2025/1/23 12:11:23

不同的应用场景，有时候对集群资源的分配和占用有不同的需求。所以Flink为各种场景提供了不同的部署模式。

3.1 部署模式（作业角度/通用分类）

根据集群的生命周期、资源的分配方式、main方法到底在哪里执行——客户端还是Client还是JobManager、资源管理 将Flink的部署模式分为四类：

  • 会话模式

  • 单作业模式

  • 应用模式

3.1.1 会话模式（Session Mode）

会话模式首先要启动一个集群，这个集群的资源提前配置好。总共就一个集群，所有资源确定，所有作业/应用竞争这一个集群中的资源。所有job共享相同的JobManager和一定数量的TaskManager。

JobManager/TaskManager的生命周期不受job影响，在job提交之前集群预先将JobManager和TaskManager创建好，并且job执行结束之后不会被销毁。

在Client中生成JobGraph，然后提交给JobManager

image-20230609105719202

优点：

  • 资源共享，提升资源利用率
  • 运维简单，不需要重复创建、销毁JobManager和TaskManager（job结束则释放资源，集群继续正常运行，集群的生命周期是超越于作业之上的）

缺点：

  • 资源伸缩性差，由于资源提前分配好了，如果资源不够了，后续提交作业则会失败
  • 资源隔离性差，由于一个集群运行着多个作业，如果其中一个作业发生故障则可能导致JobManager宕机
  • Client生成JobGraph会消耗大量CPU，并且生成之后发送给JobManager消耗网络带宽，如果频繁的提交任务，Client的压力会非常大。并且Client是顺序提交任务的，一旦某一个任务执行时间过长就会阻塞后面提价的任务。

适合场景：

​ 单个规模小、执行时间短的大量作业

3.1.2 单作业模式（Per-Job-Mode）

会话模式由于多个作业运行在同一个集群，容易导致集群宕机，资源隔离性差。所以考虑为每个作业启动一个集群，这就是单作业模式。每个job都有单独的JobManager和TaskManager，随着job的提交而创建，job结束而销毁。

image-20230609110845233

优点：

  • 资源隔离，某个作业即使发生故障导致运行它的集群的JobManager宕机，也不会影响其它作业
  • 根据不同的job可以申请不同大小的资源，slot数量可以不一样

缺点：

  • 资源浪费，重复创建和销毁JobManager和TaskManager

  • JobManager和TaskManager的生命周期全部交给CLusterManagement管理，管理复杂

  • Client生成JobGraph会消耗大量CPU，并且生成之后发送给JobManager消耗网络带宽，如果频繁提交任务，Client的压力会非常大。并且Client是顺序提交任务的，一旦某一个任务执行时间过长就会阻塞后面提交的任务

注：这个模式由于需要对各个job的资源是分开的，各个job的JobManager、TaskManager创建和销毁等管理和资源的分配是比会话模式要复杂的。所以Flink本身暂时不支持这种模式，需要结合外部的资源管理平台来完成。

3.1.3 应用模式（Application Mode）

1.11版本之后支持应用模式，Client将jar包等发送给JobManager，在JobManager中生成JobGraph，也就是说main方法在JobManager上执行而不是客户端上执行。以应用为单位（一个应用可能多个作业），一个应用创建一个集群。这里可以看成是创建仅在特定应用程序的Job之间共享的session集群。因为一个应用可能有多个job，而这多个job是在一个集群中的。Application 模式允许提交由多个Job组成的应用程序。Job执行的顺序不受部署模式的影响，但受启动Job的调用的影响。使用阻塞的 execute()方法，将是一个顺序执行的效果，结果就是"下一个"Job的执行被推迟到“该”Job完成为止。相反，一旦提交当前作业，非阻塞executeAsync()方法将立即继续提交“下一个”Job。

image-20230609113945178

优点：

  • 降低客户端和网络压力
  • Application之间实现资源隔离，而Application里面的job实现资源共享

缺点：

  • 仅支持Yarn和kubernetes等

这里我们所讲到的部署模式，相对是比较抽象的概念。实际应用时，一般需要和资源管理平台结合起来，选择特定的模式来分配资源、部署应用。

3.1.4 Native Mode

默认只启动jobmanager,之后根据job任务提交情况，动态的申请、启动taskmanager计算资源。这个资源的动态分配，也就是资源管理是交由第三方资源管理器如Yarn、K8s等

3.2 部署模式（资源调度管理器角度）

Flink自己可以进行资源管理，但是没有那么灵活、好用。同时也可以结合第三方的资源管理器进行资源管理，flink专注业务逻辑的实现而资源的管理交由第三方资源管理器。

3.2.1 Standalone运行模式（了解）

独立模式是独立运行的，不依赖任何外部的资源管理平台；当然独立也是有代价的：如果资源不足，或者出现故障，没有自动扩展或重分配资源的保证，必须手动处理。所以独立模式一般只用在开发测试或作业非常少的场景下。

1、会话模式部署

1）先启动一个集群

./start-cluster.sh

2）通过Client提交作业（参考第二章）

方式一：通过Web UI提交

方式二：通过命令

flink run -m hadoop102:8081 -c com.zlin.wc.StreamWordCount ./chapter2-1.0-SNAPSHOT.jar
2、单作业模式部署

Flink的Standalone集群并不支持单作业模式部署。因为单作业模式需要借助一些资源管理平台。

3、应用模式部署

应用模式下不会提前创建集群，所以不能调用start-cluster.sh脚本。我们可以使用同样在bin目录下的standalone-job.sh来创建一个JobManager

image-20230618171349536

具体步骤如下：

（1）将jar包放到lib/目录下

[root@hadoop102 lib]# cp /opt/jars/chapter2-1.0-SNAPSHOT.jar /opt/module/flink-1.17.1/lib

(2)启动JobManager

[root@hadoop102 bin]# /opt/module/flink-1.17.1/bin/standalone-job.sh start --job-classname com.zlin.wc.StreamWordCount

这里不用再指定jar包，因为脚本会到lib/目录下扫描

image-20230618172142897

image-20230618172331041

我们可以看到，虽然提交了作业，但是申请不到资源，一直处于CREATED状态。需要启动TaskManager。

（3）启动TaskManager

[root@hadoop102 bin]# /opt/module/flink-1.17.1/bin/taskmanager.sh start

image-20230618180642329

(4) 如果希望停掉集群，可以使用

/opt/module/flink-1.16.0/bin/standalone-job.sh stop
/opt/module/flink-1.16.0/bin/taskmanager.sh stop

3.2.2 Native Mode

Native模式是对Session和Per-Job的优化，把生成多少TaskManager交给资源调度器。支持的资源调度器有Yarn，Mesos，Kubernetes等。

前期准备

  • 需要安装hadoop（Yarn、HDFS）

  • 配置环境变量

    [root@hadoop102 ~]# vim ~/.bashrc

#SET HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HADOOP_CLASSPATH=`hadoop classpath`

  • 启动hadoop（Yarn、HDFS服务）

    [root@hadoop102 sbin]# /opt/module/hadoop-2.7.7/sbin/start-all.sh
1、Flink on Yarn（重点）
（1）会话模式部署

1）启动集群

第一步：首先要启动hadoop相关服务（yarn、hdfs）

第二步：执行脚本命令向YARN集群申请资源，开启一个YARN会话，启动Flink集群

bin/yarn-session.sh -nm test -d

在YARN的ResourceManager界面查看执行情况

Yarn WEB UI: http://hadoop102:8088/

image-20230108021135694

可用参数：

-d:分离模式，即yarn session后台运行

-jm:JobManager内存，默认单位MB

-nm:任务名

-qu:指定Yarn队列名

-tm:每个TaskManager的内存

2)提交作业

两种提交方式：

  • Web UI提交(略)

  • 命令行提交

    [root@hadoop102 bin]# flink run -c com.zlin.wc.StreamWordCount /opt/jars/chapter2-1.0-SNAPSHOT.jar

    从Yarn Web UI -> 点击对应提交的任务的application ID -> 点击Tracking URL:ApplicationMaster -> 进入到Flink web ui 可查看到提交的任务

尝试1：可以再提交一个任务吗？
可以，而且由yarn自己去动态分配，且提交到同一个application中
image-20230108024556818

尝试2：再创建一个Yarn session?

2023-06-18 18:36:55,836 INFO  org.apache.flink.yarn.YarnClusterDescriptor                  [] - Deployment took more than 60 seconds. Please check if the requested resources are available in the YARN cluster

会卡住，无法创建成功，不知道是不是资源问题还是说会话模式本来就只有一个集群不让创建。

（2）单作业模式部署
[root@hadoop102 bin]# flink run -t yarn-per-job -c com.zlin.wc.StreamWordCount /opt/jars/chapter2-1.0-SNAPSHOT.jar

image-20230618184423787

查看或者取消作业：

[atguigu@hadoop102 flink-1.17.0]$ bin/flink list -t yarn-per-job -Dyarn.application.id=application_XXXX_YY
[atguigu@hadoop102 flink-1.17.0]$ bin/flink cancel -t yarn-per-job -Dyarn.application.id=application_XXXX_YY <jobId>

这里的application_XXXX_YY是当前应用的ID，是作业的ID。注意如果取消作业，整个Flink集群也会停掉。

（3）应用模式部署

  • 命令行提交

    1）提交

    [root@hadoop102 bin]# flink run-application -t yarn-application -c com.zlin.wc.StreamWordCount /opt/jars/chapter2-1.0-SNAPSHOT.jar

    2）查看和取消作业

    flink list -t yarn-application -Dyarn.application.id=application_XXXX_YY
flink cancel -t yarn-application -Dyarn.application.id=application_XXXX_YY <jobId>

  • 上传HDFS提交

    1）上传jar包到hdfs

    我们知道在客户端生成JobGraph一旦提交任务数过多，会造成很大压力，而应用模式部署在JM上生成JobGraph所以可以解决这个问题。但是我们提交时还是需要经过网络传输将jar包传送到JM，提交速度会受到影响。我们可以将jar包提前上传到hdfs。

    可以通过yarn.provided.lib.dirs配置选项指定位置，将jar上传到hdfs。这种方式下 jar 可以预先上传到 HDFS，而不需要单独发送到集群，这就使得作业提交更加轻量了。

    [root@hadoop102 flink-1.17.1]# hadoop fs -mkdir /flink-jars
[root@hadoop102 flink-1.17.1]# hadoop fs -put /opt/jars/chapter2-1.0-SNAPSHOT.jar /flink-jars

    2）上传flink的lib和plugins到HDFS上

    [root@hadoop102 flink-1.17.1]# hadoop fs -mkdir /flink-dist
[root@hadoop102 flink-1.17.1]# hadoop fs -put lib/ /flink-dist
[root@hadoop102 flink-1.17.1]# hadoop fs -put plugins/ /flink-dist

    2）提交作业

    [root@hadoop102 flink-1.17.1]# bin/flink run-application -t yarn-application	-Dyarn.provided.lib.dirs="hdfs://hadoop102:8020/flink-dist"	-c com.zlin.wc.StreamWordCount hdfs://hadoop102:8020/flink-jars/chapter2-1.0-SNAPSHOT.jar
2、Flink on k8s（了解）

容器化部署是如今业界流行的一项技术，基于Docker镜像运行能够让用户更加方便地对应用进行管理和运维。容器管理工具中最为流行的就是Kubernetes（k8s），而Flink也在最近的版本中支持了k8s部署模式。后续补充。。。

附：Flink可以结合常见的资源管理器，各种资源调度器中支持的运行模式如下图：

image-20230609101718724

3.3 历史服务器

运行 Flink job 的集群一旦停止，只能去 yarn 或本地磁盘上查看日志，不再可以查看作业挂掉之前的运行的 Web UI，很难清楚知道作业在挂的那一刻到底发生了什么。如果我们还没有 Metrics 监控的话，那么完全就只能通过日志去分析和定位问题了，所以如果能还原之前的 Web UI，我们可以通过 UI 发现和定位一些问题。

Flink提供了历史服务器，用来在相应的 Flink 集群关闭后查询已完成作业的统计信息。我们都知道只有当作业处于运行中的状态，才能够查看到相关的WebUI统计信息。通过 History Server 我们才能查询这些已完成作业的统计信息，无论是正常退出还是异常退出。

此外，它对外提供了 REST API，它接受 HTTP 请求并使用 JSON 数据进行响应。Flink 任务停止后，JobManager 会将已经完成任务的统计信息进行存档，History Server 进程则在任务停止后可以对任务统计信息进行查询。比如：最后一次的 Checkpoint、任务运行时的相关配置。

配置历史服务器：

1）创建存储目录

hadoop fs -mkdir -p /logs/flink-job

2）在flink配置问价flink-conf.yaml进行配置

jobmanager.archive.fs.dir: hdfs://hadoop102:9000/logs/flink-job
historyserver.web.address: hadoop102
historyserver.web.port: 8082
historyserver.archive.fs.dir: hdfs://hadoop102:9000/logs/flink-job
historyserver.archive.fs.refresh-interval: 5000

注意:这里hdfs://hadoop102:9000/logs/flink-job的端口需要根据hadoop版本来定。hadoop1.x是8020，hadoop2.x是9000

3）启动历史服务器

[root@hadoop102 bin]# ./historyserver.sh start
Starting historyserver daemon on host hadoop102.

# 启动成功会有一个HistoryServer的进程
HistoryServer

4）停止历史服务器

[root@hadoop102 bin]# ./historyserver.sh stop

5）在浏览器地址栏输入：**[http://hadoop102:8082]**查看已经停止的job的统计信息

image-20230708170026146

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/942676.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

AIGC - 生成模型

AIGC - 生成模型

AIGC - 生成模型 0. 前言1. 生成模型2. 生成模型与判别模型的区别2.1 模型对比2.2 条件生成模型2.3 生成模型的发展2.4 生成模型与人工智能 3. 生成模型示例3.1 简单示例3.2 生成模型框架 4. 表示学习5. 生成模型与概率论6. 生成模型分类小结 0. 前言 生成式人工智能 (Generat…
阅读更多...
【最强最全】视频号下载助手（支持视频号视频, 直播,回放下载）

【最强最全】视频号下载助手（支持视频号视频, 直播,回放下载）

视频号下载助手支持视频号视频, 直播,回放的下载&#xff0c;本工具基于秦天sunny中间件编写&#xff0c;无需再使用其它抓包软件&#xff0c;无需再使用其它下载软件。 当然&#xff0c;你也可以右键复制抓取后的视频源再用其它下载软件下载。 使用说明 解压文件&#xff0c;…
阅读更多...
CSS中如何实现弹性盒子布局（Flexbox）的换行和排序功能？

CSS中如何实现弹性盒子布局（Flexbox）的换行和排序功能？

聚沙成塔每天进步一点点 ⭐ 专栏简介⭐ 换行&#xff08;Flexbox Wrapping&#xff09;⭐ 示例&#xff1a;实现换行⭐ 排序&#xff08;Flexbox Ordering&#xff09;⭐ 示例&#xff1a;实现排序⭐ 写在最后 ⭐ 专栏简介 前端入门之旅&#xff1a;探索Web开发的奇妙世界 记得…
阅读更多...
基于java swing和mysql实现的仓库商品管理系统（源码+数据库+运行指导视频）

基于java swing和mysql实现的仓库商品管理系统（源码+数据库+运行指导视频）

一、项目简介 本项目是一套基于java swing和mysql实现的仓库商品管理系统&#xff0c;主要针对计算机相关专业的正在做毕设的学生与需要项目实战练习的Java学习者。 包含&#xff1a;项目源码、项目文档、数据库脚本等&#xff0c;该项目附带全部源码可作为毕设使用。 项目都经…
阅读更多...
流媒体弱网优化之路(BBR应用)——GCC与BBR的算法思想分析

流媒体弱网优化之路(BBR应用)——GCC与BBR的算法思想分析

流媒体弱网优化之路(WebRTC)——GCC与BBR的算法思想分析 —— 我正在的github给大家开发一个用于做实验的项目 —— github.com/qw225967/Bifrost目标&#xff1a;可以让大家熟悉各类Qos能力、带宽估计能力&#xff0c;提供每个环节关键参数调节接口并实现一个json全配置&…
阅读更多...
【洛谷算法题】P1001-A+B Problem【入门1顺序结构】

【洛谷算法题】P1001-A+B Problem【入门1顺序结构】

&#x1f468;‍&#x1f4bb;博客主页&#xff1a;花无缺 欢迎 点赞&#x1f44d; 收藏⭐ 留言&#x1f4dd; 加关注✅! 本文由 花无缺 原创 收录于专栏 【洛谷算法题】 文章目录 【洛谷算法题】P1001-AB Problem【入门1顺序结构】&#x1f30f;题目背景&#x1f30f;题目描述…
阅读更多...
【Linux操作系统】Linux系统编程中条件变量实现生产者消费者模型

【Linux操作系统】Linux系统编程中条件变量实现生产者消费者模型

在Linux系统编程中&#xff0c;条件变量是一种用于线程间同步的机制&#xff0c;常用于实现生产者消费者模型。生产者消费者模型是一种常见的并发编程模型&#xff0c;用于解决多线程环境下的数据共享和同步问题。在该模型中&#xff0c;生产者负责生产数据&#xff0c;消费者负…
阅读更多...
53 个 CSS 特效 3（完）

53 个 CSS 特效 3（完）

53 个 CSS 特效 3&#xff08;完&#xff09; 前两篇地址&#xff1a; 53 个 CSS 特效 153 个 CSS 特效 2 这里是第 33 到 53 个&#xff0c;很多内容都挺重复的&#xff0c;所以这里解释没之前的细&#xff0c;如果漏了一些之前的笔记会补一下&#xff0c;写过的就会跳过。…
阅读更多...
【算法训练-模拟】模拟设计LRU缓存结构

【算法训练-模拟】模拟设计LRU缓存结构

废话不多说&#xff0c;喊一句号子鼓励自己&#xff1a;程序员永不失业&#xff0c;程序员走向架构&#xff01;本篇Blog的主题是LRU缓存结构设计&#xff0c;这类题目出现频率还是很高的&#xff0c;几乎所有大厂都常考。 当然面对这道题&#xff0c;首先要讲清楚LRU是干什么…
阅读更多...
JavaScript—对象与构造方法

JavaScript—对象与构造方法

目录 json对象&#xff08;字面值&#xff09; js中对象是什么&#xff1f; 如何使用&#xff1f; 关联数组 js对象和C#对象有什么区别&#xff1f; 构造函数 什么是构造方法&#xff1f; 如何使用构造方法&#xff1f; 如何添加成员&#xff1f; 对象的动态成员 正则…
阅读更多...
PageObject三层架构模式实现

PageObject三层架构模式实现

1&#xff1a;PageObject三层架构分为&#xff1a; 接下来用163邮箱的登录功能来举例说明三层架构的使用。 1&#xff1a;先创建目录结构&#xff0c;如下图 2&#xff1a;在工具Util中&#xff0c;先封装查找元素定位的工具&#xff0c;创建一个find_ele.py文件。内容如下&am…
阅读更多...
JavaScript—DOM（文档对象模型）

JavaScript—DOM（文档对象模型）

目录 DOM是什么&#xff1f; DOM有什么作用&#xff1f; 一、事件 理解事件 事件怎么写&#xff08;要做什么就写什么&#xff09;&#xff1f; 实战演练 1、页面加载完毕以后&#xff0c;打印一句话 2、如果有一个a标签&#xff0c;并给其添加一个点击事件 3、事件默…
阅读更多...
电脑如何投屏到手机？Windows投屏到iPhone也可以吗？

电脑如何投屏到手机？Windows投屏到iPhone也可以吗？

我们知道&#xff0c;因为各大品牌厂商越来越维护自己的名声&#xff0c;都会推出“全家桶”&#xff0c;就是某些功能&#xff0c;你在使用同一品牌的电脑、手机、平板时非常好用&#xff0c;但一旦跨品牌就用不了。电脑投屏到手机也会遇到这种“品牌隔离”。 如果参会人使用…
阅读更多...
对DataFrame对象中的数据将各行列进行整体平移DataFrame.shift()

对DataFrame对象中的数据将各行列进行整体平移DataFrame.shift()

【小白从小学Python、C、Java】 【计算机等级考试500强双证书】 【Python-数据分析】 对DataFrame对象中的数据 将各行列进行整体平移 DataFrame.shift() [太阳]选择题 以下python代码错误的是? import pandas as pd dfpd.DataFrame({A:[1,2,3],B:[4,5,6]}) print(【显示】df&…
阅读更多...
SAP MM学习笔记26- SAP中 振替转记（转移过账）和 在库转送（库存转储）3- Plant间在库转送

SAP MM学习笔记26- SAP中 振替转记（转移过账）和 在库转送（库存转储）3- Plant间在库转送

SAP 中在库移动 不仅有入库&#xff08;GR&#xff09;&#xff0c;出库&#xff08;GI&#xff09;&#xff0c;也可以是单纯内部的转记或转送。 1&#xff0c;振替转记&#xff08;转移过账&#xff09; 2&#xff0c;在库转送&#xff08;库存转储&#xff09; 1&#xff…
阅读更多...
springboot+vue健身房俱乐部课程预约网站的设计与实现0356t

springboot+vue健身房俱乐部课程预约网站的设计与实现0356t

通过对知识内容的学习研究&#xff0c;进而设计并实现一个“力炫”健身馆网站。系统能实现的主要功能应包括&#xff1b;用户、健身教练、健身器材、健身课程、健身商品、健身资讯等的一些操作&#xff0c;传统的管理模式主要是使用纸作为介质&#xff0c;信息交流很大程度上受…
阅读更多...
ASL芯片CS5366带DSC影像解压 替代PS186替代RTD2173替代AG9411 集睿致远方案设计优势

ASL芯片CS5366带DSC影像解压 替代PS186替代RTD2173替代AG9411 集睿致远方案设计优势

CS5366是ASL集睿致远推出的2LAN带PD&#xff08;最高100W&#xff09;可拉U3口的高集成度芯片&#xff0c;分辨率支持4K60HZ。在刷新率上&#xff0c;CS5366作为升级一代&#xff0c;超越了CS5266达到60HZ&#xff0c;同时在各个方面做到了优越性&#xff0c;极具性价比的一代&…
阅读更多...
如何使用CSS实现一个自适应等高布局？

如何使用CSS实现一个自适应等高布局？

聚沙成塔每天进步一点点 ⭐ 专栏简介⭐ 使用 Flexbox 布局⭐ 使用 Grid 布局⭐ 写在最后 ⭐ 专栏简介 前端入门之旅&#xff1a;探索Web开发的奇妙世界 记得点击上方或者右侧链接订阅本专栏哦 几何带你启航前端之旅 欢迎来到前端入门之旅&#xff01;这个专栏是为那些对Web开发…
阅读更多...
海康VisionMaster-全局变量-全局脚本-全局通讯

海康VisionMaster-全局变量-全局脚本-全局通讯

using System; using VM.GlobalScript.Methods; using System.Windows.Forms; using iMVS_6000PlatformSDKCS; using System.Runtime.InteropServices;/******************************* 示例说明: 接收全局通信模块数据示例* 前提: 全局通信模块中开启有通信设备* 控制逻…
阅读更多...
Mycat单库分表

Mycat单库分表

Mycat单库分表 一、准备工作 1.MySQL主从同步、JDK。 2.mycat解压即可&#xff0c;无需安装。 3.如果用的是云服务器&#xff0c;需要开放8066端口。 二、配置文件 1.server.xml&#xff1a;定义用户以及系统相关变量&#xff0c;如端口&#xff08;默认8066&#xff0…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023