前提:
Hadoop 必須保证在 2.2 以上,且必須裝有 hdfs 服务。Hadoop安装后续会有相关说明。
具体的,在生产环境中,flink一般会交由yarn、k8s等资源管理平台来处理。本章主要讲解yarn模式下的session cluster模式。
flink Session-Cluster
在yarn中初始化一个flink集群,开辟指定的资源,以后提交任务都向这里提交。这个flink集群会驻在yarn集群中,除非手工停止。
首先确保在/etc/profile中添加了配置项
export HADOOP_CLASSPATH=`hadoop classpath`
初始化启动
./bin/yarn-session.sh --detached
提交作业
./bin/flink run ./examples/streaming/TopSpeedWindowing.jar
停止作业
echo "stop" | ./bin/yarn-session.sh -id application_XXXXX_XXX
这种模式所有的job都共享一个jobmanager,启动的集群只有一个jobmanager。
后续继续补充另外两种:Per-Job和Application Mode。