目录

一、前言

二、环境准备

三、安装步骤

1. 下载并安装 Flink

4. 配置 Flink

5. 配置环境变量

6. 启动 Flink 集群

7. 访问 Flink Web 界面

四、简单测试

五、常见问题和解决办法

1. 启动失败，无法连接到 TaskManager

2. Web 界面无法访问

六、总结

---

一、前言

Flink 是一个开源的流处理框架，可以用于批处理和流处理。Flink 提供了多种部署模式，其中 Standalone 模式是最基础的一种。本文将介绍如何在 Linux 环境下部署一个 Flink Standalone 集群，包括安装、配置和启动。本文适用于新手，可以帮助你快速搭建 Flink Standalone 集群。

二、环境准备

在开始部署之前，需要准备以下环境和工具：

• Linux 服务器（建议至少 3 台，本文以 3 台为例，分别命名为 master、slave1、slave2）
• JDK 1.8 及以上版本（建议使用 OpenJDK 11）
• SSH 配置无密码登录
• Flink 安装包（本文使用 apache-flink-1.16.0-bin-scala_2.12.tgz 为例）

三、安装步骤

1. 下载并安装 Flink

在 master 节点下载 Flink 安装包，并解压缩：

cd /opt/moudles
tar -zxvf apache-flink-1.16.0-bin-scala_2.12.tgz
mv apache-flink-1.16.0 /opt/installs/flink

将 flink 目录分发到所有节点：

scp -r /opt/installs/flink slave1:/opt/installs/
scp -r /opt/installs/flink slave2:/opt/installs/

（也可以使用脚本xsync.sh分发到所有节点）

4. 配置 Flink

在 master 节点上，编辑 Flink 的配置文件 /opt/installs/flink/conf/flink-conf.yaml：

jobmanager.rpc.address: bigdata01
taskmanager.numberOfTaskSlots: 2
web.submit.enable: true

#历史服务器  如果HDFS是高可用，则复制core-site.xml、hdfs-site.xml到flink的conf目录下   hadoop11:8020 -> hdfs-cluster
jobmanager.archive.fs.dir: hdfs://bigdata01:9820/flink/completed-jobs/
historyserver.web.address: bigdata01
historyserver.web.port: 8082
historyserver.archive.fs.dir: hdfs://bigdata01:9820/flink/completed-jobs/

编辑 masters 文件（设置 JobManager 的节点）：

master:8081

编辑 work 文件（添加 TaskManager 节点）：

master
slave1
slave2

5. 配置环境变量

在所有节点上设置 Flink 的环境变量。在 /etc/profile 文件中添加以下内容：

export FLINK_HOME=/opt/installs/flink
export PATH=$PATH:$FLINK_HOME/bin
export HADOOP_CONF_DIR=/opt/installs/hadoop/etc/hadoop

执行以下命令使配置生效：

source /etc/profile

刷新环境变量（source /etc/profile） 

6. 启动 Flink 集群

在 master 节点启动 Flink 集群：

#启动HDFS  
start-dfs.sh
#启动集群
start-cluster.sh
#启动历史服务器
historyserver.sh start

验证集群是否启动成功，可以通过 jps 命令查看 JobManager 和 TaskManager 进程。

假如 historyserver 无法启动，也就没有办法访问 8082 服务，原因大概是你没有上传 关于 hadoop 的 jar 包到 lib 下。

7. 访问 Flink Web 界面

打开浏览器，访问 http://master:8081，可以查看 Flink 的 Web UI 管理界面，监控集群状态和任务运行情况；访问 http://master:8082，可以查看 Flink 的 Flink历史服务器管理界面，及时服务重启，运行过的服务都还在能够访问8082是因为你的历史服务启动着。

四、简单测试

在 master 节点上提交一个 Flink 示例任务：

flink run examples/streaming/WordCount.jar

在 Flink 的 Web 界面中可以查看任务的执行情况。

五、常见问题和解决办法

1. 启动失败，无法连接到 TaskManager

• 检查配置文件中的 jobmanager.rpc.address 是否正确。
• 确保所有节点的 hosts 文件配置正确。
• 检查节点之间的网络是否通畅。

2. Web 界面无法访问

• 检查防火墙设置，确保 8081 端口是开放的。
• 确保 JobManager 已经正常启动。

六、总结

本文介绍了如何在 Linux 环境下部署 Flink Standalone 集群，从环境准备、安装配置到集群启动和测试。Standalone 模式适合测试和开发环境的快速部署，操作简单。如果需要在生产环境中使用，可以考虑使用 YARN 或 Kubernetes 进行更复杂的集群管理。