启动Flink显示初始化状态怎么解决?
Flink On Yarn模式
问题
flnk任务在跑的过程中, 有时候任务停掉了 ,不过我有 定时任务,可以把失败的flink任务拉起来,但是因为最新的checkpoint做失败了,导致脚本无法拉起flink任务,任务会一直处于初始化状态,这样是有问题的 因为我无法识别到最后一个checkpoint是成功的还是失败的
思路
通过flink rest api可以判断出来这个初始化的状态,然后删除失败的checkpoint
具体实现思路
具体的解决步骤(脚本实现):
1.通过任务名称获取appid;
2.curl http://${yarnaddr}/proxy/${appid}/jobs/overview 获取job的状态;
3.如果是初始化状态,就删除当前的chk(其实就是最新的chk,也是有问题的);,然后调用启动脚本;
4.这个脚本就相当于一个巡检程序,定时去扫描一下 , 如果有初始化,就处理一下, 如果没有的话,忽略即可;
脚本如下
flinkInitDeal.sh
#!/bin/bash
source ~/.bash_profile
yarnaddr=172.2.3.8:8088
applicationname=`yarn application --list | grep "flink-etl" | cut -f1 `
let i=0 #获取任务数
let log_count=0 #获取日志中的任务数
start_count=RUNNING #判断任务是否存在异常
cd /test/flink
curl http://${yarnaddr}/proxy/${applicationname}/jobs/overview > flink_job.log
jobstatus=`cat /test/flink/flink_job.log | awk -F\" '{print $14}'`
if [[ ${jobstatus} = 'INITIALIZING' ]]
then
path=$(hadoop fs -ls -t -r /flink/checkpoints/* | sort -nr | grep 'chk' | head -n 1 | awk '{print $NF}')
hadoop dfs -rmr ${path}
cd /home/hadoop/flink-1.14/app
sh stop.sh
sleep 10
sh start.sh