海豚1.3单节点,多集群设置

news2024/9/21 11:03:43

最近出差忙项目,一直没更新,现在项目结尾了。回来继续搞集群

公司因为CDH升级为CDP,两套环境数据和任务慢慢迁移,但是调度任务需要同时跑批。 

而我们的海豚调度是单节点的,master和worker等服务都在一台节点上。

之前我有说过海豚每次执行完都会去yarn上检查一下任务状态。去判断这个任务是成功还是失败。

但是配置文件中,只能设置一套大数据环境。

这时候就有3种解决办法了:

1、新增worker节点,单独设置租户和worker组。每个任务需要单独拆分出来。时间成本过高。

2、新搭建一套集群,两套集群各跑各的。浪费资源。需要单独copy一套环境。

3、改海豚的源码。

当然涉及到技术问题,当然是改源码了。否则不真成了码农了。。

海豚版本:1.3.9

改源码前

。因为我是做了提交脚本的,两套提交脚本提交到不同的集群。那么他会报错如下

 因为在 common.properties 中设置了

 而且没办法设置多套。所以改配置的想法不行。当然我也试过在 yarn.resourcemanager.ha.rm.ids 参数后面加上新集群地址,也是不行的。

那么现在只有改源码了

改源码后

根据报错信息很容易定位问题。

一共修改3个地方:

1、把final 去掉

public static String rmHaIds = PropertyUtils.getString(Constants.YARN_RESOURCEMANAGER_HA_RM_IDS);

2、新增,如果不新增,老集群会受到影响。因为 rmHaIds 地址已经变成新集群了

rmHaIds = PropertyUtils.getString(Constants.YARN_RESOURCEMANAGER_HA_RM_IDS);

3、新增判断,用于切换Yarn集群地址 

        if (StringUtils.isBlank(responseContent)) {

            rmHaIds = "新集群yarn的RM地址";

            logger.warn("yarn集群RM转换成功,当前RM节点为: "+rmHaIds);

            applicationUrl = getApplicationUrl(applicationId);

            logger.warn("applicationUrl-2地址为:{}",applicationUrl);

            responseContent = HttpUtils.get(applicationUrl);

            logger.warn("responseContent-2状态: "+responseContent);

打包服务重启

1、将jar包打包后上传到服务器上。

替换的包:$DOLPHINSCHEDULER_HOME/lib/dolphinscheduler-common-1.3.9.jar

2、将原生包给备份

我是备份到海豚目录了。方便出问题回滚

3、将自己的包放到lib目录下

 4、重启服务

sh 海豚根目录/bin/dolphinscheduler-daemon.sh stop worker-server
sh 海豚根目录/bin/dolphinscheduler-daemon.sh start worker-server
jps

执行两套环境的脚本。

打印日志

结尾

没注意后续版本是否支持。但是目前我用的1.3.9貌似是不支持的。

有什么问题欢迎反馈。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/494769.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

基于VBA实现成绩排序的最佳方法-解放老师的双手

作为一名老师,每到期末就要面对一件让人头疼的事情——成绩表统计。 首先,要收集每个学生的考试成绩。这需要花费大量的时间和精力,因为每个学生都有多门科目的成绩需要统计。 其次,要将每个学生的成绩录入到电子表格中。这看起来…

【今天聊聊生产力】提升研发生产力的神器推荐

1、Free Mybatis Tool、MybatisX 用于DAO层和Mapper层之间跳转 Mapper和DAO层跳转,可以用的插件比较多,比较推荐如下两款,功能基本一致,只是样式小有差别。 Free Mybatis Tool,样式为一个绿色箭头,简洁明了…

docker 部署JAVA应用OOM的排障经历——筑梦之路

故障现象: 使用docker部署JAVA的应用,tomcat作为中间件容器,启动应用时总是报错无法创建Java虚拟机,然后就是OOM 报错信息: 不管是从docker容器的日志还是系统日志均未发现有用的信息,也尝试更换过镜像tom…

C++入门3(C++新特性 using string auto)

C入门3 C新特性auto推导规则auto 作为函数的形参类型decltype基于范围for循环 typedef与usingC语言定义变量typedef 在C语言中的写法using在C11中的写法using与template的结合 string的简单使用 C新特性 auto推导规则 auto类型推导: auto定义的变量,可以根据初始化…

开源推荐,超级棒的云原生的Kafka管控平台,清新优雅~~

哈喽,大家好, 之前给大家介绍过很多优秀的后台管理系统,但是都感觉还少,今天再来推荐一个。 最近新接触到一个项目,确实把我惊艳到了,太适合使用了,极大地方便了用户和运维人员的日常使用&…

(三)Kubernetes - 手动部署(二进制方式安装)

Kubernetes - 手动部署 [ 2 ] 1 部署主节点1.1 生成kube-apiserver证书1.1.1 自签证书颁发机构(CA)1.1.2 使用自签CA签发kube-apiserver https证书 1.2 下载k8s-server1.3 解压二进制包1.4 部署kube-apiserver1.4.1 创建配置文件1.4.2 拷贝刚才生成的证书1.4.3 启用TLS bootstr…

部署PHP开源项目SuiteCRM

部署PHP开源项目SuiteCRM 前言部署PHP项目创建站点上传PHP源码安装依赖 SuiteCRM安装安装向导中文语言修改数据库密码 前言 因人力资源部想要开发一套适用于他们方便管理的系统,但无整体构思,在网络中找到了开源企业管理软件SuiteCRM,想要作为…

基于SSM框架疫情之下社区管理系统(spring+springmvc+mybatis+jsp+jquery+bootstrap)

一、项目简介 本项目是一套基于SSM框架疫情之下社区管理系统,主要针对计算机相关专业的正在做毕设的学生与需要项目实战练习的Java学习者。 包含:项目源码、数据库脚本等,该项目附带全部源码可作为毕设使用。 项目都经过严格调试&#xff0c…

Java8新特性—Lambda表达式

Java 8是Java编程语言的一个版本,于2014年发布。它引入了许多新的特性和改进。 Lambda表达式是Java 8中引入的一个重要的新特性,它提供了一种更加简洁、灵活的方式来编写函数式接口的实现,从而提高了代码的可读性和简洁性。 在本文中&#…

什么是FPGA?关于FPGA基础知识 一起来了解FPGA lattice 深力科 MachXO3系列 LCMXO3LF-9400C-5BG256C

什么是FPGA?关于FPGA基础知识 一起来了解FPGA lattice 深力科 MachXO3系列 LCMXO3LF-9400C-5BG256C FPGA基础知识:FPGA是英文Field-Programmable Gate Array的缩写,即现场可编程门阵列,它是在PAL、GAL、CPLD等可编程器…

golang web学习随便记2

在前一篇中,我们直接在 index 这个 handler func 中解析了模板,定义了数据,然后执行模板显示“拼合”了数据的网页。这是一个客户被动看的页面。实际的应用显然需要能够处理用户的请求。对于浏览器客户端的请求,我们先要来了解和请…

pytorch——损失函数之nn.BCELoss二进制交叉熵和 nn.BCEWithLogitsLoss

文章目录 1、pytorch损失函数之nn.BCELoss()(二进制交叉熵)1.1 是什么?1.2 怎么代码实现和代码使用?1.3 推导过程分析交叉熵作为损失函数的梯度情况:举一个sigmoid导致的梯度消失的MSE损失的例子 1.3 应用场景1.3.1 二分类1.3.2 多…

java版工程项目管理系统平台,助力工程企业实现数字化管理系统源代码

Java版工程项目管理系统 Spring CloudSpring BootMybatisVueElementUI前后端分离 功能清单如下: 首页 工作台:待办工作、消息通知、预警信息,点击可进入相应的列表 项目进度图表:选择(总体或单个)项目显示1…

一文讲透TCP/IP协议 | 图解+秒懂+史上最全

目录 🙋‍♂️ TCP/IP协议详解 🙋‍♂️ TCP/IP协议的分层模型 OSI模型的七层框架 TCP/IP协议与七层ISO模型的对应关系 (一)TCP/IP协议的应用层 (二)TCP/IP协议的传输层 (三)…

Vuex从了解到实际运用(二)——获取vuex中的全局状态(state getters)

vuex从了解到实际运用——获取vuex中的全局状态state getters 知识回调(不懂就看这儿!)场景复现项目实战vuex定义一个store实例在store中定义数据在组件中获取值vuex的计算属性通过getters获取全局状态state和getters获取全局状态的区别 知识…

Windows安装Docker 容器教程

Windows安装Docker 容器教程 什么是docker I. 简介 什么是 Docker 容器 Docker 容器是一种轻量级、可移植、自包含的软件打包和部署技术。它可以将应用程序和依赖项打包在一个可移植的容器中,并提供一个一致的运行环境,无论在哪个计算机上运行都能够…

Copyleaks:AI抄袭和内容检测工具

【产品介绍】 Copyleaks是一个基于AI人工智能的抄袭和内容检测工具,可以帮助用户在互联网上发现和防止内容被盗用。支持检测各种类型的文本,包括学术论文、网站内容、商业文件、法律合同、创意作品等,并提供详细的相似度报告和原始来源链接。…

基于R语言APSIM模型应用

随着数字农业和智慧农业的发展,基于过程的农业生产系统模型在模拟作物对气候变化的响应与适应、农田管理优化、作物品种和株型筛选、农田固碳和温室气体排放等领域扮演着越来越重要的作用。APSIM (Agricultural Production Systems sIMulator)模型是世界知名的作物生…

【Hello Network】TCP协议

作者:小萌新 专栏:网络 作者简介:大二学生 希望能和大家一起进步 本篇博客简介:较为详细的介绍TCP协议 TCP协议 TCP协议可靠性TCP的协议格式序号与确认序号窗口大小六个标志位 确认应答机制 (ACK)超时重传机…

Spring整合Swagger自动生成API文档

认识Swagger Swagger 是一个规范和完整的框架,用于生成、描述、调用和可视化 RESTful 风格的 Web 服务。总体目标是使客户端和文件系统作为服务器以同样的速度来更新。参数和模型紧密集成到服务器端的代码,允许API来始终保持同步。 作用: …