启动Flink显示初始化状态怎么解决?

news2024/11/17 1:57:42

启动Flink显示初始化状态怎么解决?

Flink On Yarn模式

问题

      flnk任务在跑的过程中, 有时候任务停掉了 ,不过我有 定时任务,可以把失败的flink任务拉起来,但是因为最新的checkpoint做失败了,导致脚本无法拉起flink任务,任务会一直处于初始化状态,这样是有问题的  因为我无法识别到最后一个checkpoint是成功的还是失败的

在这里插入图片描述

思路

通过flink rest api可以判断出来这个初始化的状态,然后删除失败的checkpoint  

具体实现思路

具体的解决步骤(脚本实现):
1.通过任务名称获取appid;
2.curl http://${yarnaddr}/proxy/${appid}/jobs/overview 获取job的状态;
3.如果是初始化状态,就删除当前的chk(其实就是最新的chk,也是有问题的);,然后调用启动脚本;
4.这个脚本就相当于一个巡检程序,定时去扫描一下 , 如果有初始化,就处理一下, 如果没有的话,忽略即可;

脚本如下

flinkInitDeal.sh

#!/bin/bash


source ~/.bash_profile

yarnaddr=172.2.3.8:8088


applicationname=`yarn application --list | grep "flink-etl" | cut -f1 `
let i=0  #获取任务数
let log_count=0  #获取日志中的任务数
start_count=RUNNING  #判断任务是否存在异常

cd /test/flink

curl http://${yarnaddr}/proxy/${applicationname}/jobs/overview  > flink_job.log

jobstatus=`cat /test/flink/flink_job.log | awk -F\" '{print $14}'`

if [[  ${jobstatus} = 'INITIALIZING' ]]
then

path=$(hadoop fs -ls -t -r /flink/checkpoints/* | sort -nr | grep 'chk' | head -n 1 | awk '{print $NF}')

hadoop dfs -rmr  ${path}

cd /home/hadoop/flink-1.14/app
sh stop.sh

sleep 10

sh start.sh

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/827279.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【leetcode经典简单题】自食用||删除链表中倒数第k个结点

step by step. 题目: 给你一个链表,删除链表的倒数第 n 个结点,并且返回链表的头结点。 示例 1: 输入:head [1,2,3,4,5], n 2 输出:[1,2,3,5]示例 2: 输入:head [1], n 1 输出&a…

C# Blazor 学习笔记(8):row/col布局开发

文章目录 前言相关文章代码row和col组件B_rowB_col结构 使用 前言 可能是我用的element ui和 uView这种第三方组件用的太多了。我上来就希望能使用这些组件。但是目前Blazor目前的生态其实并不完善,所以很多组件要我们自己写。 我们对组件的要求是 我们在组件化一共…

人工智能科研经验——人工智能顶会审稿人科研方法分享

人工智能顶会审稿人科研方法分享 前言 1、本教程主要记录人工智能科研方面的经验积累。 Question:科研是什么? Anwser:科研是【进行观察—>定义问题—>研究问题—>发展假设—>设计实验—>收集和分析结果—>构建结论—>进…

微服务架构的模式介绍

1.微服务架构模式方案 用Scale Cube方法设计应用架构,将应用服务按功能拆分成一组相互协作的服务。每个服务负责一组特定、相关的功能。每个服务可以有自己独立的数据库,从而保证与其他服务解耦。 1.1 聚合器微服务设计模式 聚合器调用多个服务实现应用程…

74HC245芯片的用途

双 P 沟道增强型 MOS 管---D74HC245 目录 双 P 沟道增强型 MOS 管---D74HC245 概述与特点 主要特性 应用领域 管脚定义 管脚定义说明 逻辑框图 直流电气参数 直流特性 交流特性 封装 概述与特点 � 概述 D74HC245 是一种三态输出、八路信号收发器,主要应用…

【安装Tomcat,web站点部署】

Tomcat部署 第一种安装 yum install tomcat.noarch -y yum install tomcat-webapps.noarch -y #启动脚本 [rootlocalhost ~]# systemctl start tomcat这时可以通过IP地址端口访问 第二种安装 点击此处找到apache-tomcat-8.5.70.tar.gz 官网下载JDK #先安装JDK [rootlocalh…

Android安卓实战项目(5)---完整的健身APP基于安卓(源码在文末)可用于比赛项目或者作业参考中

Android安卓实战项目(5)—完整的健身APP(源码在文末🐕🐕🐕)可用于比赛项目 一.项目运行介绍 1.大致浏览 【bilibili视频】 https://www.bilibili.com/video/BV1uX4y177iR/? (1&…

MySQL语法2

DQL语句介绍 DQL是数据查询语言,用来查询数据库中表的记录 DQL-基本查询语句 SELECT 字段列表 FROM 表名列表 WHERE 条件列表 GROUP BY 分组字段列表 HAVIMG 分组后条件列表 ORDER BY 排列字段列表 LIMIT 分页参数 讲解过程:基本查询、条件查询…

Dockerfile构建apache镜像

创建工作目录 [rootlocalhost ~]# mkdir tomcat [rootlocalhost ~]# cd tomcat/ 编写配置文件 [rootlocalhost tomcat]# cat Dockerfile #基于的基础镜像 FROM centos:7 #镜像作者信息 MAINTAINER liu <wewed163.com> #安装相关依赖包 RUN yum install -y wget net-…

SpringBoot之logback-spring.xml详细配置

《logback官网》 各种指导文件&#xff0c;有空自己去看&#xff0c;比如&#xff1a;我们需要调整的是布局&#xff0c;直接看Layouts。 pom.xml <!-- 环境配置 --><profiles><profile><id>dev</id><properties><spring.profiles.a…

提交项目纳品数据时,生成目录结构树文档readme.txt方法

之前在日企工作时&#xff0c;学到了一个生成目录结构树的方法。最近&#xff0c;我提交了项目纳品压缩包给客户&#xff0c;在里面附带了一个 "readme.txt" 文档&#xff0c;其中包含了整个项目的目录结构。客户对这个方法十分赞赏&#xff0c;分享一下方法。 在提交…

一文讲清多线程与多线程同步

1 多线程 1.1 线程的概念 十多年前&#xff0c;主流观点主张在可能的情况下优先选择多进程而非多线程&#xff0c;如今&#xff0c;多线程编程已经成为编程领域的事实标准。多线程技术在很大程度上改善了程序的性能和响应能力&#xff0c;使其能够更加高效地利用系统资源&…

Python删除txt文件中特定字符

这个问题居然csdn没一个人写&#xff01;我的半天时间都浪费在这破玩意上&#xff0c;但是说白了是因为我太菜&#xff0c;毁灭吧&#xff01; 我要搞关键点检测&#xff0c;但是问题在于我的关键点个数每张图不一样&#xff0c;就导致我转出来的txt后面关键点不够了他就被补了…

类中静态代码块、实例代码块、创建实例的执行顺序——阿里面试题

原题代码&#xff1a; package com.example.demo3;public class InitializeDemo {private static int k 1;private static InitializeDemo t1 new InitializeDemo("t1");private static InitializeDemo t2 new InitializeDemo("t1");private stati…

【蓝图】p45,多个角色控制权切换

p45&#xff0c;多个角色控制权切换 p45&#xff0c;多个角色控制权切换创建新玩家方法1方法2 控制权切换MultiGate按顺序指向一系列的蓝图引脚possess&#xff08;控制&#xff09; 切换时摄像机过渡效果Set View Target with Blend(使用混合设置视图目标)折叠到宏&#xff0c…

SSM(Vue3+ElementPlus+Axios+SSM前后端分离)【二】

文章目录 SSM--基础环境搭建【二】项目介绍项目功能/界面● SSM 整合项目界面 项目全局配置web.xmlSpringMVC 配置 SSM–基础环境搭建【二】 项目介绍 项目功能/界面 ● SSM 整合项目界面 项目全局配置web.xml 配置furns_ssm\src\main\webapp\WEB-INF\web.xml , 和项目全局…

【搜索】DFS迭代加深

目录 迭代加深例题加成序列题意思路代码 迭代加深 搜索时可能会遇到这样一种情况&#xff1a; 明明答案就在第一层&#xff01;但是因为DFS的缘故浪费很多时间 迭代加深就是用来解决这个问题的算法 定义一个 max_depth &#xff0c;每次搜索时&#xff0c;超过这一层就全部剪…

Spring事务(声明式事务)(Spring的事务,Spring隔离级别,事务传播机制)

目录 一、什么是事务&#xff0c;为什么要用事务 二、Spring声明式事务 &#x1f345; 1、Transactional的使用 &#x1f388; 事务回滚 &#x1f388;注意&#xff1a;异常被捕获&#xff0c;不会发生事务回滚 &#x1f345; 2、Transactional 作⽤范围 &#x1f345; …

硬盘的分类

目前常见的硬盘种类主要有以下2种&#xff1a; 机械硬盘&#xff08;HDD&#xff09; 机械硬盘&#xff08;HDD&#xff09;是一种利用旋转磁盘和读写头来存储和访问数据的存储设备。它由磁盘、读写头、电机和控制电路等组成&#xff0c;磁盘通常是一种铝合金或玻璃材质的圆盘&…

《HeadFirst设计模式(第二版)》第二章代码——观察者模式

代码文件目录结构&#xff1a; DisplayElement package Chapter2_ObserverPattern.interfaces;/*** Author 竹心* Date 2023/8/2**/public interface DisplayElement {public void display(); }Observer package Chapter2_ObserverPattern.interfaces;/*** Author 竹心* Date…