周末下雨,倒杯茶,在家练习Flink相关。
开发工具:IntelliJ Idea
第一步、创建项目
打开Idea,新建Maven项目,包和项目命名
在pom.xml 文件中添加依赖
<properties>
<flink.version>1.13.0</flink.version>
<java.version>1.8</java.version>
<scala.binary.version>2.12</scala.binary.version>
<slf4j.version>1.7.2</slf4j.version>
</properties>
<dependencies>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-java</artifactId>
<version>${flink.version}</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-streaming-java_${scala.binary.version}</artifactId>
<version>${flink.version}</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-clients_${scala.binary.version}</artifactId>
<version>${flink.version}</version>
</dependency>
<!-- 日志-->
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-api</artifactId>
<version>${slf4j.version}</version>
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
<version>${slf4j.version}</version>
</dependency>
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-to-slf4j</artifactId>
<version>2.16.0</version>
</dependency>
</dependencies>
第二步、修改配置文件
配置文件(/opt/flink/flink-1.14.3/conf/flink-conf.yaml)中添加以下内容。
// 打开配置文件
vi /opt/flink/flink-1.14.3/conf/flink-conf.yaml
// 添加以下信息
#taskmanager的机器地址,集群设置为当前机器所在的地址
taskmanager.host: flink_no1
配置文件(/opt/flink/flink-1.14.3/conf/workers)中添加host信息,如下所示。启动后需要输入集群节点的密码。
// 打开配置文件
vi /opt/flink/flink-1.14.3/conf/workers
// 添加worker信息
flink_no1
第三步、启动
// 在bin目录下,终止flink启动
stop-cluster.sh
// 启动
start-cluster.sh
注意:必须将端口添加到防火墙的信任列表,并刷新。
// 添加防火墙
firewall-cmd --zone=public --add-port=8081/tcp --permanent
firewall-cmd --reload
在浏览器输入 http://192.168.184.137:8081/#/overview,其中 192.168.184.137 为主节点地址。