flink-1.14.4启动报错setPreferCheckpointForRecovery(Z)v

news2024/9/17 7:36:39

从flink1.12升级到flink1.14,修改了pom.xml的flink-version,打包的时候发现报错:


        // 当有较新的 Savepoint 时,作业也会从 Checkpoint 处恢复
        env.getCheckpointConfig().setPreferCheckpointForRecovery(true);

 于是屏蔽了这段配置后,打了包,放到yarn上启动,结果出现了下面的报错:

java.lang.NoSuchMethodError: org.apache.flink.streaming.api.environment.CheckpointConfig.setPreferCheckpointForRecovery(Z)V
        at com.sitech.csd.ulmp_v2.flink.util.ExecutionEnvUtil.prepare(ExecutionEnvUtil.java:65)
        at com.sitech.csd.ulmp_v2.flink.application.BaseApplication.init(BaseApplication.java:93)
        at com.sitech.csd.ulmp_v2.flink.application.BaseApplication.init(BaseApplication.java:32)
        at com.sitech.csd.ulmp_v2.flink.LogWritingApplication.main(LogWritingApplication.java:19)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:355)
        at org.apache.flink.client.program.PackagedProgram.invokeInteractiveModeForExecution(PackagedProgram.java:222)
        at org.apache.flink.client.ClientUtils.executeProgram(ClientUtils.java:114)
        at org.apache.flink.client.cli.CliFrontend.executeProgram(CliFrontend.java:812)
        at org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:246)
        at org.apache.flink.client.cli.CliFrontend.parseAndRun(CliFrontend.java:1054)
        at org.apache.flink.client.cli.CliFrontend.lambda$main$10(CliFrontend.java:1132)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:422)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1875)
        at org.apache.flink.runtime.security.contexts.HadoopSecurityContext.runSecured(HadoopSecurityContext.java:41)
        at 

后来发现是scala版本不对,需要的是2.12,但我用了2.11,修改了版本之后,我重新提交,出现如下报错:

2023-09-13 09:23:33,516 WARN  org.apache.flink.yarn.configuration.YarnLogConfigUtil        [] - The configuration directory ('/ulmp/flink/conf') already contains a LOG4J config file.If you want to use logback, then please delete or rename the log configuration file.
log4j:WARN No appenders could be found for logger (org.apache.hadoop.yarn.ipc.YarnRPC).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
2023-09-13 09:23:33,810 INFO  org.apache.flink.yarn.YarnClusterDescriptor                  [] - No path for the flink jar passed. Using the location of class org.apache.flink.yarn.YarnClusterDescriptor to locate the jar
2023-09-13 09:23:33,970 INFO  org.apache.hadoop.conf.Configuration                         [] - resource-types.xml not found
2023-09-13 09:23:33,971 INFO  org.apache.hadoop.yarn.util.resource.ResourceUtils           [] - Unable to find 'resource-types.xml'.
2023-09-13 09:23:33,980 WARN  org.apache.flink.yarn.YarnClusterDescriptor                  [] - Neither the HADOOP_CONF_DIR nor the YARN_CONF_DIR environment variable is set. The Flink YARN Client needs one of these to be set to properly load the Hadoop configuration for accessing YARN.
2023-09-13 09:23:34,014 INFO  org.apache.flink.yarn.YarnClusterDescriptor                  [] - The configured JobManager memory is 768 MB. YARN will allocate 1024 MB to make up an integer multiple of its minimum allocation memory (1024 MB, configured via 'yarn.scheduler.minimum-allocation-mb'). The extra 256 MB may not be used by Flink.
2023-09-13 09:23:34,015 INFO  org.apache.flink.yarn.YarnClusterDescriptor                  [] - Cluster specification: ClusterSpecification{masterMemoryMB=1024, taskManagerMemoryMB=2048, slotsPerTaskManager=1}
2023-09-13 09:23:34,471 WARN  org.apache.hadoop.hdfs.shortcircuit.DomainSocketFactory      [] - The short-circuit local reads feature cannot be used because libhadoop cannot be loaded.
2023-09-13 09:23:36,566 INFO  org.apache.flink.yarn.YarnClusterDescriptor                  [] - Submitting application master application_1687851042699_2369
2023-09-13 09:23:36,598 INFO  org.apache.hadoop.yarn.client.api.impl.YarnClientImpl        [] - Submitted application application_1687851042699_2369
2023-09-13 09:23:36,598 INFO  org.apache.flink.yarn.YarnClusterDescriptor                  [] - Waiting for the cluster to be allocated
2023-09-13 09:23:36,599 INFO  org.apache.flink.yarn.YarnClusterDescriptor                  [] - Deploying cluster, current state ACCEPTED
2023-09-13 09:24:36,761 INFO  org.apache.flink.yarn.YarnClusterDescriptor                  [] - Deployment took more than 60 seconds. Please check if the requested resources are available in the YARN cluster
2023-09-13 09:24:37,012 INFO  org.apache.flink.yarn.YarnClusterDescriptor                  [] - Deployment took more than 60 seconds. Please check if the requested resources are available in the YARN cluster
2023-09-13 09:24:37,262 INFO  org.apache.flink.yarn.YarnClusterDescriptor                  [] - Deployment took more than 60 seconds. Please check if the requested resources are available in the YARN cluster
2023-09-13 09:24:37,513 INFO  org.apache.flink.yarn.YarnClusterDescriptor                  [] - Deployment took more than 60 seconds. Please check if the requested resources are available in the YARN cluster
2023-09-13 09:24:37,764 INFO  org.apache.flink.yarn.YarnClusterDescriptor                  [] - Deployment took more than 60 seconds. Please check if the requested resources are available in the YARN cluster

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1006090.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

什么样的护眼灯好?盘点五款好用的护眼台灯

随着技术的发展,灯光早已成为每家每户都需要的东西。但是灯光不好可能会对眼睛造成伤害是很多人没有注意到的。现在随着护眼灯产品越来越多,市场上台灯的选择越来越多样化,如何选择一个对眼睛无伤害、无辐射的台灯成为许多家长首先要考虑的问…

21.(地图工具篇)geoserver发布wms服务文字被裁剪

1:问题描述 Partials:当标签在瓦片边缘显示不全时,是否绘制。 当设置partials时为true时(默认为false),出现以下问题(文字被裁剪): 2:解决方案 设置缓冲后&#xff…

如何利用Api接口获取手机当前的网络位置信息

在移动互联网时代,手机定位已经成为了一个日常化的需求,无论是导航、社交还是打车等服务都需要获取手机的位置信息。而获取手机位置信息最基础的一步就是获取手机当前的网络位置信息,本文将介绍如何利用API接口获取手机当前的网络位置信息。 …

《使用 Helm 管理 Kubernetes 应用程序的最佳实践》

🌷🍁 博主猫头虎(🐅🐾)带您 Go to New World✨🍁 🐅🐾猫头虎建议程序员必备技术栈一览表📖: 🛠️ 全栈技术 Full Stack: &#x1f4da…

职业规划就问它!海量知识与智慧,AIGC助你冲破择业迷茫

数字化时代的兴起改变了我们的日常生活和职业工作方式。科技迅猛的发展,尤其是人工智能的崛起,将我们引入了一个崭新的智能化时代。在这个时代中,AI被认为是从"数字时代"向"数智时代"转变的关键元素,引领着这…

学校安全升级,门禁管理就选它了!

门禁监控系统是一项在当今教育界日益受到重视的技术应用,它不仅仅是一种安全措施,更是一种校园管理和学生安全保障的创新方法。 在这一背景下,门禁监控系统成为了一种重要的解决方案,能够确保学生和教职员工的安全,提高…

融云聊天室再放大招,服务更完整、集成更便捷

9 月 21 日,融云直播课 社交泛娱乐出海最短变现路径如何快速实现一款 1V1 视频应用? 欢迎点击上方小程序报名~ 聊天室是直播、语聊房等社交泛娱乐产品的必备组件,它以“公屏”形态面向用户。关注【融云全球互联网通信云】了解更多 作为一个…

C#+sqlserver网上作业批改与管理系统asp.net

功能需求 3.3.1 学生部分 1:查看发布作业:以列表的形式查看教师发布的作业。 2:上交作业:学生上交教师发布的作业。 需输入作业名称及添加WORD文档地址进行作业上传。 3:查看已上交作业:以列表的形式查看…

正中优配:股票重组前最明显的特征?

股票重组是指一家公司在经过一定的调整后,对其股票进行重新组合和发行的进程。股票重组是一种非常常见的商业行为,它能够协助公司提高效率、操控成本,提高股价等目的。在股票重组前,有许多显着的特征能够协助我们了解公司的情况以…

一款释放数据价值的项目,开源了!

在大数据和 AI 的时代背景下,数据已经成为了重要财富,大到政务数据、企业核心数据,小到个人信息、银行卡余额,这些数据无一例外都是“隐私数据”,如果在使用和流转时发生泄漏都会造成巨大的损失。 那有没有什么方法&a…

骨传导耳机对人体有危险吗?会损害听力吗?

如果在使用骨传导耳机的时候控制好时间和音量,是不会对人体带来危险和造成伤害的。 下面跟大家解释一下为什么骨传导耳机对人体没有危害,最大的原因就是骨传导耳机不需要空气传导,而是通过颅骨传到听觉中枢,传输过程中几乎没有噪…

U8G2 各显示屏初始化过程

主函数:u8g2lib.h --------各显示屏初始化函数 u8g2_d_setup.c-------- 主要函数 u8g2_SetupDisplay (u8g2, u8x8_d_ist3088_320x240, u8x8_cad_011, byte_cb, gpio_and_delay_cb); u8x8_d_ist3088_320x240, u8x8_cad_011 对应相应的初始化函数

Linux更新g++

不同版本的g会支持不同的c标准,若是g标准过低会导致一些c新的标准无法使用。 比如c11出的regex就需要g 4.9以上的标准才能使用。 一般更新g需要使用一些额外的软件源,便于我们更新g,这里采用Developer ToolSet来更新g。 更新步骤 首先使用ro…

易基因: WGBS等揭示DNA甲基化调控林地草莓植株高度和果实大小的分子机制|植物发育

大家好,这里是专注表观组学十余年,领跑多组学科研服务的易基因。 DNA甲基化影响基因组稳定性、转座子沉默和基因表达;它主要发生在对称CG和CHG以及不对称CHH (H A, C或T)中的胞嘧啶上。RNA介导的DNA甲基化(RNA-directed DNA methylation&am…

Containerd安装详细步骤

Containerd安装详细步骤 从k8s的1.24版本开始,k8s默认的容器运行时就是Containerd了,所以想要安装学习k8s的1.24以后的版本 都需要安装Containerd,废话不多说,请看以下安装步骤。 1、离线安装包下载地址 https://github.com/con…

Layui快速入门之第四节 按钮

目录 一:基本用法 二:不同主题的按钮 基本案例: 三:不同尺寸的按钮 基本案例: 四:按钮圆角 五:按钮图标 六:按钮混搭 七:按钮组合 八:按钮容器 一…

基于Android高校智慧公寓选房APP的设计与实现

基于Android高校智慧公寓选房APP的设计与实现 摘 要 学生宿舍选房是大学新生入学必须面临的问题。能够统计各宿舍的分配使用情况,清楚查看宿舍状态,图像化展示,一目了然。并与其它系统共用一个数据中心&a…

PDF怎么转图片?四种转换方法分享

PDF文件是一种非常常见的文档格式,然而,有时候我们需要将PDF文件转换成图片格式。比如我们可能需要将PDF文件中的某些页面或图表转换成图片格式以便于编辑或分享。在这篇文章中,我们将介绍四种将PDF文件转换成图片的方法。 方法一&#xff1a…

源代码加密

需求背景 随着各行各业业务数据信息化发展,各类产品研发及设计等行业,都有关乎自身发展的核心数据,包括业务数据、代码数据、机密文档、用户数据等敏感信息,这些信息数据有以下共性: 属于核心机密资料,万…

程序员面试金典16.20: T9键盘

题目: 在老式手机上,用户通过数字键盘输入,手机将提供与这些数字相匹配的单词列表。每个数字映射到0至4个字母。给定一个数字序列,实现一个算法来返回匹配单词的列表。你会得到一张含有有效单词的列表。映射如下图所示&#xff1…