[Flink03] Flink安装

news2025/3/12 19:44:20

本文介绍Flink的安装步骤，主要是Flink的独立部署模式，它不依赖其他平台。文中内容分为4块：前置准备、Flink本地模式搭建、Flink Standalone搭建、Flink Standalong HA搭建。

演示使用的Flink版本是1.15.4，官方文档地址：https://nightlies.apache.org/flink/flink-docs-release-1.15/zh/docs/try-flink/local_installation/。

1、前置准备

1.1、因为后面要搭建集群，所以需要准备3台linux服务器，集群服务器节点提前安装JDK 8以上版本。

1.2、给集群的每台服务器分配好角色。类似下图：

1.3、集群的服务器之间配置好ssh免密登录，避免后续搭建出现麻烦，这一步一定要做。简单步骤如下：

  1. 在master机器执行ssh-keygen -t rsa

  2. 在master机器执行命令，将密钥拷贝到其余服务器ssh-copy-id -i /root/.ssh/id_rsa.pub 目标服务器IP

2、Flink本地模式搭建

搭建本地模式只需要一台服务器。下面以master服务器为例。

2.1、下载安装包

安装包下载地址https://flink.apache.org/zh/downloads/#apache-flink-2、https://archive.apache.org/dist/flink/flink-1.15.4。

解压安装包：

tar -xzf flink-1.15.4-bin-scala_2.12.tgz
2.2、启动集群

进入到解压目录下，执行以下脚本：

./bin/start-cluster.sh

通过jps查询相关进程：

17409 TaskManagerRunner
13597 StandaloneSessionClusterEntrypoint

若出现上述进程，则代表启动成功。StandaloneSessionClusterEntrypoint为Flink主进程，即JobManager；TaskManagerRunner为Flink从进程，即TaskManager。

2.3、查看WebUI

在浏览器中访问服务器8081端口即可查看Flink的WebUI，比如http://10.20.0.93:8081/，从WebUI中可以看出，当前本地模式的Task Slot数量和TaskManager数量。访问结果如下图所示：

如果出现访问不通的情况，使用如下方式解决：

正常启动集群后，只能通过http://localhost:8081访问Flink Web UI，如果通过IP地址访问，则出现连接被拒绝的情况。此时需要修改Flink配置文件flink-conf.yaml，将localhost改成0.0.0.0，修改之后重启服务就可以使用IP地址访问。修改部分见下图：

2.4、停止集群
./bin/stop-cluster.sh

3、Flink Standalone搭建

搭建Flink Standalone模式，需要3台服务器。角色安排见下图：

3.1、下载安装包

安装包下载地址https://flink.apache.org/zh/downloads/#apache-flink-2、https://archive.apache.org/dist/flink/flink-1.15.4。

在JobManager服务器下载安装包，解压安装包：

tar -xzf flink-1.15.4-bin-scala_2.12.tgz -C /data/software/
3.2、修改flink-conf.yaml配置文件

Flink的配置文件都存放于安装目录下的conf目录。在JobManager服务器，进入该目录，执行以下操作。

vim conf/flink-conf.yaml

将文件中jobmanager.rpc.address属性的值改为JobManager机器的ip地址，如下：

jobmanager.rpc.address: 10.20.0.93
jobmanager.bind-host: 0.0.0.0
3.3、修改workers文件

workers文件必须包含所有需要启动的TaskManager节点的主机名，且每个主机名占一行。在JobManager服务器，执行以下操作

vim conf/workers

修改为其余两台TaskManager的ip地址：

10.20.0.92
10.20.0.90
3.4、复制Flink安装文件到其他服务器

在JobManager服务器执行命令，将安装文件复制到其余TaskManager服务器，命令如下：

scp -r /data/software/flink-15.4/ 10.20.0.92:/data/software/flink-15.4/
scp -r /data/software/flink-15.4/ 10.20.0.90:/data/software/flink-15.4/
3.5、启动集群

在JobManager节点上进入Flink安装目录，执行以下命令启动Flink集群：

bin/start-cluster.sh

启动完毕后，在集群各服务器上通过jsp命令查看Java进程。若各节点存在以下进程，则说明集群启动成功：

JobManager节点：StandaloneSessionClusterEntrypoint
TaskManager1节点：TaskManagerRunner
TaskManager2节点：TaskManagerRunner

尝试提交一个简单任务，如果任务正常执行完毕，则集群一切正常。提交Flink自带的简单任务如下：

./bin/flink run examples/streaming/WordCount.jar
3.6、查看WebUI

通过JobManager节点访问WebUI，可以看到此时是1个JobManager，2个TaskManager，也能以上执行完毕的任务，如下图：

4、Flink Standalone HA搭建

4.1、HA模式介绍

在Flink Standalone模式下，实现HA的方式可以利用ZooKeeper在所有正在运行的JobManager实例之间进行分布式协调，实现多个JobManager无缝切换。Flink Standalone模式的HA架构如图：

HA的核心就是：可以在集群中启动多个JobManager，并使它们都向ZooKeeper进行注册，ZooKeeper利用自身的选举机制保证同一时间只有一个JobManager是活动状态（Active）的，其他的都是备用状态（Standby）。当活动状态的JobManager出现故障时，ZooKeeper会从其他备用状态的JobManager选出一个成为活动JobManager。流程见下图：

此外，活动状态的JobManager在工作时会将其元数据（JobGraph、应用程序JAR文件等）写入一个远程持久化存储系统（例如HDFS）中，还会将元数据存储的位置和路径信息写入ZooKeeper存储，以便能够进行故障恢复，如图下图所示：

4.2、角色分配

下面仍然采用前面的的3个节点，在前面已经搭建好的Flink Standalone集群上进行操作。集群角色分配如下图：

搭建步骤如下：

4.3、修改masters文件

Flink的masters文件用于配置所有需要启动的JobManager节点以及每个JobManager的WebUI绑定的端口。

进入centos01节点的Flink安装目录，修改conf/masters文件，修改内容如下：

centos01:8081
centos02:8082

上述配置表示在集群centos01和centos02节点上启动JobManager，并且每个JobManager的WebUI访问端口分别为8081。

4.4、修改flink-conf.yaml文件设置高可用模式

进入centos01节点的Flink安装主目录，修改conf/flink-conf.yaml文件，添加以下内容：

# 将高可用模式设置为ZooKeeper，默认集群不会开启高可用状态
high-availability: zookeeper
# ZooKeeper集群主机名（或IP）与端口列表，多个以逗号分隔
high-availability.zookeeper.quorum: centos01:2181,centos02:2181,centos03:2181
# 用于持久化JobManager元数据（JobGraph、应用程序JAR文件等）的HDFS地址，以便进行故障恢复，ZooKeeper上存储的只是元数据所在的位置路径信息
high-availability.storageDir: /data/software/flink-15.4/ha
# 获取storageDir也可用hdfs，如果使用hdfs的话，则需要单独安装hdfs，本文暂不使用
#high-availability.storageDir: hdfs://centos01:9000/flink/recovery
4.5、修改zoo.cfg文件

Flink内置了ZooKeeper服务和相关脚本文件，如果你的集群中没有安装ZooKeeper，则可以通过修改zoo.cfg文件配置Flink内置的ZooKeeper。生产环境建议使用独立的外部ZooKeeper。

进入centos01节点的Flink安装主目录，修改conf/zoo.cfg文件，添加以下内容，配置ZooKeeper启动节点与选举相关端口：

server.1=centos01:2888:3888
server.2=centos02:2888:3888
server.3=centos03:2888:388

上述配置表示在centos01、centos02和centos03节点上启动ZooKeeper服务，其中1、2、3表示每个ZooKeeper服务器的唯一ID。

4.6、复制Flink安装文件到其他节点

继续采用scp命令，复制centos01的文件到其他节点，scp命令会把相同文件覆盖。

scp -r /data/software/flink-15.4/ centos02:/data/software/flink-15.4/
scp -r /data/software/flink-15.4/ centos03:/data/software/flink-15.4/
4.7、启动ZooKeeper集群

如果使用Flink内置的ZooKeeper，在centos01节点执行以下命令，即可启动整个ZooKeeper集群：

./bin/start-zookeeper-quorum.sh

启动过程见下图：

启动成功后，在每个Flink节点上都会产生一个名为FlinkZooKeeperQuorumPeer的进程，该进程是ZooKeeper服务的守护进程。使用jsp可以查看到如下进程：

4.8、启动Flink Standalone HA集群

在centos01节点上执行以下命令，启动Flink Standalone HA集群：

bin/start-cluster.sh

启动过程类似下图：

单独查看centos01的进程，如下图：

单独查看centos02的进程，如下图：

单独查看centos03的进程，如下图：

在查看/tmp目录，可以看到相关元数据信息：

4.9、访问WebUI

之前的防止，只有centos01可以访问dashboard，现在centos01、centos02都可以访问。

在提交一个测试，如果能正常执行，说明整个集群正常。

./bin/flink run examples/streaming/WordCount.jar
4.10、停止集群

若要停止Flink Standalone HA集群，在centos01节点上首先执行以下命令停止整个Flink集群：

 bin/stop-cluster.sh

然后执行以下命令，停止ZooKeeper集群：

bin/stop-zookeeper-quorum.sh

以上是Flink的安装步骤！下一篇介绍Flink DataStream的概念和使用案例。

原文链接：http://www.mangod.top/articles/2023/07/26/1690349392449.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1455158.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Shellcode免杀对抗(C/C++)

Shellcode免杀对抗(C/C++)

Shellcode C/C免杀，绕过360安全卫士、火绒安全、Defender C/C基于cs/msf的上线 首先是测试一下shellcode上线，主要是俩种方法 测试环境 攻击机：kali2023 靶机：win10 msf方法 首先是启动msf msfconsole 然后msf生成一个sh…
阅读更多...
每日一题——LeetCode1460.通过翻转子数组使两个数组相等

每日一题——LeetCode1460.通过翻转子数组使两个数组相等

方法一 哈希Map 用两个Map集合分别统计target和arr里出现的元素和出现的次数，在比较两个Map集合看是否出现的元素和次数都相同 var canBeEqual function(target, arr) {let map1 new Map();let map2 new Map();for (let item of target) {map1.set(item, (map1…
阅读更多...
2.18号c++

2.18号c++

1.菱形继承 1.1 概念 菱形继承又称为钻石继承，是由公共基类派生出多个中间子类，又由多个中间子类共同派生出汇聚子类。汇聚子类会得到多份中间子类从公共基类继承下来的数据成员，会造成空间浪费，没有必要。 问题： …
阅读更多...
洛夫克拉夫特“克苏鲁神话”艺术风格探索（二）

洛夫克拉夫特“克苏鲁神话”艺术风格探索（二）

三、多元的叙事风格 洛夫克拉夫特的克苏鲁神话作为当时独特的文学创造，有独特的叙事特征[8]。 一是侦探小说不稳定的叙事。最有名气的早期侦探小说是爱伦坡的《莫格街凶杀案》，并产生了“疑案”的经典设定，两次世界大战期间的侦探小说批评认…
阅读更多...
【超级干货】ArcGIS_空间连接_工具详解

【超级干货】ArcGIS_空间连接_工具详解

帮助里对空间连接的解释： 根据空间关系将一个要素的属性连接到另一个要素。 目标要素和来自连接要素的被连接属性写入到输出要素类。 如上图所示，关键在于空间关系，只有当两个要素存在空间关系的时候，空间连接才有用武之地。 一…
阅读更多...
【.NET Core】深入理解async 和 await 理解

【.NET Core】深入理解async 和 await 理解

【.NET Core】深入理解async 和 await 理解 文章目录 【.NET Core】深入理解async 和 await 理解一、概述二、async异步执行机制理解三、async与await应用3.1 async与await简单应用3.2 带有返回值async与await应用 四、async和await中常见问题总结4.1 当方法用async标识时&…
阅读更多...
C++初阶(十三) 模板

C++初阶(十三) 模板

一、非类型模板参数 模板参数分类类型形参与非类型形参。类型形参即：出现在模板参数列表中，跟在class或者typename之类的参数类型名称。非类型形参，就是用一个常量作为类(函数)模板的一个参数，在类(函数)模板中可将该参数当成常量…
阅读更多...
mysql 2-18

mysql 2-18

加密与解密函数 其他函数 聚合函数 三者效率 GROUP BY HAVING WHERE和HAVING的区别 子查询 单行子查询和多行子查询 单行比较操作符 多行比较操作符 把平均工资生成的结果当成一个新表 相关子查询 EXISTS 一条数据的存储过程 标识符命名规则 创建数据库 MYSQL的数据类型 创建表…
阅读更多...
人工智能专题：2024亚太地区生成式人工智能应用与监管报告

人工智能专题：2024亚太地区生成式人工智能应用与监管报告

今天分享的是人工智能系列深度研究报告：《人工智能专题：2024亚太地区生成式人工智能应用与监管报告》。 （报告出品方：德勤） 报告共计：20页 来源：人工智能学派 知识更新：了解传统…
阅读更多...
按键控制LED和光敏传感器控制蜂鸣器

按键控制LED和光敏传感器控制蜂鸣器

按键控制LED 把两个按键分别接在PB11、PB1上面，两个LED接在PA1和PA2上面 main.c#include "stm32f10x.h" // Device header #include "Delay.h" #include "LED.h" #include "Key.h"uint8_t keynum; //全局…
阅读更多...
激光跟踪仪|6D跟踪仪测量大尺寸空间姿态

激光跟踪仪|6D跟踪仪测量大尺寸空间姿态

标题理解激光跟踪仪的工作原理与应用 激光跟踪仪基于激光干涉和测距原理，通过发射和接收激光束来实现对目标物体的跟踪和测量。它是将激光照射到接触测量目标物的目标（使用反射器等）上，然后经目标反射的激光返回发光源&#xff0…
阅读更多...
【Java】图解 JVM 垃圾回收（一）：GC 判断策略、引用类型、垃圾回收算法

【Java】图解 JVM 垃圾回收（一）：GC 判断策略、引用类型、垃圾回收算法

图解 JVM 垃圾回收（一） 1.前言1.1 什么是垃圾1.2 内存溢出和内存泄漏 2.垃圾回收的定义与重要性3.GC 判断策略3.1 引用计数算法3.2 可达性分析算法 4.引用类型5.垃圾回收算法5.1 标记-复制（Copying）5.2 标记-清除（Mark…
阅读更多...
算法学习系列（三十五）：贪心（杂）

算法学习系列（三十五）：贪心（杂）

目录 引言一、合并果子（Huffman树）二、排队打水（排序不等式）三、货仓选址（绝对值不等式）四、耍杂技的牛（推公式） 引言 上一篇文章也说过了这个贪心问题没有一个规范的套路和模板&am…
阅读更多...
Spring 事务原理总结七

Spring 事务原理总结七

今天是二零二四年二月十八，农历正月初九。同时今天也是农历新年假期后的第一个工作日。我的内心既兴奋，又担忧，更急躁。兴奋是因为假期后的第一个工作日工作轻松；担忧是因为经过了这么长时间，我依旧没搞明白Spring事务…
阅读更多...
物奇平台DRC动态范围控制修改方法

物奇平台DRC动态范围控制修改方法

物奇平台DRC动态范围控制修改 是否需要申请加入数字音频系统研究开发交流答疑群(课题组)？可加我微信hezkz17, 本群提供音频技术答疑服务，+群赠送语音信号处理降噪算法，蓝牙耳机音频，DSP音频项目核心开发资料, 音频 DRC 是指动态范围控制（Dyna
阅读更多...
Pytest测试技巧之Fixture：模块化管理测试数据！

Pytest测试技巧之Fixture：模块化管理测试数据！

在 Pytest 测试中，有效管理测试数据是提高测试质量和可维护性的关键。本文将深入探讨 Pytest 中的 Fixture，特别是如何利用 Fixture 实现测试数据的模块化管理，以提高测试用例的清晰度和可复用性。 什么是Fixture？ 在 Pytest 中…
阅读更多...
Java入门教程：介绍、优势、发展历史以及Hello World程序示例

Java入门教程：介绍、优势、发展历史以及Hello World程序示例

Java入门教学 java语言介绍 Java是由Sun Microsystems公司(已被Oracle公司收购)于1995年5月推出的Java面向对象程序设计语言和Java平台的总称。由James Gosling和同事们共同研发，并在1995年正式推出。 Java分为三个体系： JavaSE（J2SE&…
阅读更多...
【PX4-AutoPilot教程-源码】移植PX4固件到自制NuttX操作系统飞控板的方法

【PX4-AutoPilot教程-源码】移植PX4固件到自制NuttX操作系统飞控板的方法

移植PX4固件到自制NuttX操作系统飞控板的方法 找到使用相同（或型号相似）CPU类型的现有目标并进行复制飞控板的配置文件夹结构firmware.prototype文件default.px4board文件bootloader.px4board文件nuttx-config/bootloader/defconfig文件nuttx-config/nsh…
阅读更多...
Code Composer Studio (CCS) - Licensing Information

Code Composer Studio (CCS) - Licensing Information

Code Composer Studio [CCS] - Licensing Information 1. Help -> Code Composer Studio Licensing Information2. Upgrade3. Specify a license fileReferences 1. Help -> Code Composer Studio Licensing Information 2. Upgrade ​​​ 3. Specify a license file …
阅读更多...
Paper - CombFold: Predicting structures of large protein assemblies 环境配置

Paper - CombFold: Predicting structures of large protein assemblies 环境配置

欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/136153329 CombFold： GitHub：https://github.com/dina-lab3D/CombFoldPaper：predicting structures of large…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023