Apache DolphinScheduler 3.0.0 升级到 3.1.8 教程

news2024/11/24 4:36:24

安装部署可参考官网

Version 3.1.8/部署指南/伪集群部署(Pseudo-Cluster)icon-default.png?t=N7T8https://dolphinscheduler.apache.org/zh-cn/docs/3.1.8/guide/installation/pseudo-cluster

也可以参考我写贴子

DolphinScheduler 3.0安装及使用-CSDN博客DolphinScheduler 3.0版本的安装教程https://blog.csdn.net/qq0719/article/details/126506093?spm=1001.2014.3001.5502

在这里我补充说明升级Apache DolphinScheduler的几个关键点

做好已有元数据做备份(以 MySQL为例,元数据存储在Mysql的dolphinscheduler数据库里)

伪代码

mysqldump -u root -p dolphinscheduler > dolphinscheduler_backup_XXX.sql

apache-dolphinscheduler-3.1.8-bin/bin/env/install_env.sh

apache-dolphinscheduler-3.1.8-bin/bin/env/dolphinscheduler_env.sh

这两个文件的配置项,可以从旧版本的相应文件里直接复制粘贴

需要将 使用到的数据库(比如MySQL)的connector (本人亲测 mysql-connector-java-8.0.30.jar 适用,其他connector版本未测试)放到相应的libs库里

api-server/libs

alert-server/libs

master-server/libs

worker-server/libs

tools/libs

伪代码如下

cp XXX/mysql-connector-java-8.0.30.jar XXX/apache-dolphinscheduler-3.1.8-bin/api-server/libs/
cp XXX/mysql-connector-java-8.0.30.jar XXX/apache-dolphinscheduler-3.1.8-bin/alert-server/libs
cp XXX/mysql-connector-java-8.0.30.jar XXX/apache-dolphinscheduler-3.1.8-bin/master-server/libs
cp XXX/mysql-connector-java-8.0.30.jar XXX/apache-dolphinscheduler-3.1.8-bin/worker-server/libs
cp XXX/mysql-connector-java-8.0.30.jar XXX/apache-dolphinscheduler-3.1.8-bin/tools/libs

common.properties 文件,需要修改相应的参数

alert-server/conf/common.properties
api-server/conf/common.properties
master-server/conf/common.properties
worker-server/conf/common.properties

本人升级时,只修改了

api-server/conf/common.properties

worker-server/conf/common.properties

这两个文件的三个参数

resource.storage.type

resource.storage.upload.base.path

resource.hdfs.fs.defaultFS

需要注意的是,3.1.8此文件的有些参数名和3.0.0此文件中的参数名有变化。

3.0.0参数

resource.upload.path

对应

3.1.8参数

resource.storage.upload.base.path

3.0.0参数

fs.defaultFS

对应

3.1.8参数

resource.hdfs.fs.defaultFS

如果是CDH集群(比如CDH 6.2.1)升级使用 Apache DolphinScheduler 3.1.8

还需要替换相应的zookeeper jar包, 否则会有 zookeeper Failed to delete registry key 报错提示

参考

dolphin3.0在伪集群模式下总是会报zookeeper Failed to delete registry key,我该怎么排查这个问题icon-default.png?t=N7T8https://github.com/apache/dolphinscheduler/discussions/11948

看看是不是zookeeper的版本不兼容,dolphinscheduler3.1.8版本的zookeeper和curator是下面这个:
curator-client-5.3.0.jar
curator-recipes-5.3.0.jar
curator-framework-5.3.0.jar
zookeeper-3.8.0.jar

将/api-server/libs,master-server/libs,worker-server/libs,/tools/libs下的zookeeper,curator的版本替换成zookeeper服务版本一致才行。

注意:zookeeper-3.4.x 对应的curator-*版本必须是4.2.0

cdh6.2.1 使用的是 

ZooKeeper3.4.5+cdh6.2.1

 即 zookeeper-3.4.5 版本,

需要下载相应的jar包 zookeeper-3.4.5.jar

可从如下网站上搜索下载jar包

Jar查找,Jar下载,class文件,Maven仓库查询,Gradle引入代码 -时代Java为了开发者提供便利查询服务:包括查找Jar,Jar下载,查找class文件,查询Maven仓库及引入代码,查询Gradle引入代码等与Java开发相关的功能服务。icon-default.png?t=N7T8https://nowjava.com/jar/

此外还需要下载

curator-client-4.2.0.jar
curator-recipes-4.2.0.jar
curator-framework-4.2.0.jar

这三个jar包。

即:

zookeeper-3.4.5.jar

curator-client-4.2.0.jar
curator-recipes-4.2.0.jar
curator-framework-4.2.0.jar

将这4个jar包放到如下

api-server/libs

master-server/libs

worker-server/libs

tools/libs

这四个目录,并替换原先的版本jar包

伪代码如下

#######################

cd XXX/apache-dolphinscheduler-3.1.8-bin/api-server/libs/

rm -f zookeeper-3.8.0.jar
cp XXXX/zookeeper-3.4.5.jar .

rm -f curator-*
cp XXXX/curator-*4.2* .

#######################

cd XXX/apache-dolphinscheduler-3.1.8-bin/master-server/libs

rm -f zookeeper-3.8.0.jar
cp XXXX/zookeeper-3.4.5.jar .

rm -f curator-*
cp XXXX/curator-*4.2* .

#######################

cd XXX/apache-dolphinscheduler-3.1.8-bin/worker-server/libs

rm -f zookeeper-3.8.0.jar
cp XXXX/zookeeper-3.4.5.jar .

rm -f curator-*
cp XXXX/curator-*4.2* .

#######################

cd XXX/apache-dolphinscheduler-3.1.8-bin/tools/libs

rm -f zookeeper-3.8.0.jar
cp XXXX/zookeeper-3.4.5.jar .

rm -f curator-*
cp XXXX/curator-*4.2* .

#######################

============================================

以上这五点都修改完后,

停掉DolphinScheduler 3.0.0

伪代码

su - dolphinscheduler
cd XXXX/apache-dolphinscheduler-3.0.0-bin
# 一键停止集群所有服务
bash ./bin/stop-all.sh

初始化DolphinScheduler 3.1.8

cd XXXX/apache-dolphinscheduler-3.1.8-bin

sh ./tools/bin/upgrade-schema.sh
cd XXXX/apache-dolphinscheduler-3.1.8-bin

sh ./bin/install.sh

‧★,:*:‧\( ̄▽ ̄)/‧:*‧°★*  升级完成。‧★,:*:‧\( ̄▽ ̄)/‧:*‧°★*  

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1101598.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

微信查分,原来这么简单,老师必看攻略

哈喽,亲爱的老师们!是不是经常为了查找学生的成绩而烦恼呢?别担心,今天我就来给大家分享一个超级实用的教程——在微信里查分!快来一起了解一下吧! 首先,我们要清楚成绩查询页面是什么。一般来说…

成都优优聚是专业美团代运营吗?

成都优优聚是一家专注于美团代运营的公司。作为全国知名的美团代运营服务商,成都优优聚拥有丰富的经验和优秀的团队,为各类商家提供全方位的美团代运营解决方案。 美团作为目前国内最大的O2O平台之一,拥有庞大的用户基础和强大的品牌影响力。…

激光雷达标定板精准识别前方障碍物

商用车自动驾驶率先进入商业化运营阶段,这主要是由于商用车对价格的敏感度更低、B端付费意愿更高,以及场景交通复杂程度较低和政策鼓励等因素。在矿区、港口、干线物流、机场、物流园区等细分场景,高级别自动驾驶正在孕育新市场。其中&#x…

【java学习—八】对象类型转换Casting(1)

文章目录 1. 数据类型转换1.1 基本数据类型的 Casting1.2. 对 Java 对象的强制类型转换(造型)2. 对象类型转换举例 1. 数据类型转换 数据类型转换分为基本数据类型转换和对象类型转换。 1.1 基本数据类型的 Casting (1) 自动类型转换:小的数据类型可以自动转换成…

如果你有一次自驾游的机会,你会如何准备?

常常想来一次说走就走的自驾游,但是光是想想就觉得麻烦的事情好多:漫长的公路缺少娱乐方式、偏僻拗口的景点地名难以导航、不熟悉的城市和道路容易违章…… 也因为如此,让我发现了HUAWEI HiCar这个驾驶人的宝藏! 用HUAWEI HiCar…

value too long for type character varying报错处理

瀚高数据库 目录 环境 症状 问题原因 解决方案 环境 系统平台:N/A 版本:4.5 症状 使用insert into插入数据时出现报错value too long for type character varying 问题原因 458新增NLS_LENGTH_SEMANTICS参数,默认设置为byte。之前版本默认为…

nordic平台SDK包下载地址

nRF5 SDK downloads - nordicsemi.com

消灭指标二义性!提效30%的指标管理如何炼成?

众所周知,「指标」是企业通过数据分析衡量业绩的重要参数。然而,不同部门、不同渠道往往存在不同的使用场景和术语体系。 举个例子: 这是一家知名的服饰品牌,不同平台渠道归属于不同部门管理。 适逢双11大促,老板说&…

Tmux:终端复用器的基本使用(一)

tmux(也称为终端多路复用器)是一个强大的终端工具,旨在提高终端用户的工作效率。它允许用户在一个终端窗口内创建多个会话和窗格,从而轻松地在一个屏幕上同时运行多个终端应用程序。tmux 的目标是将多个终端会话和任务组织在一个简…

基于SSM+Vue的毕业生跟踪调查反馈系统

末尾获取源码 开发语言:Java Java开发工具:JDK1.8 后端框架:SSM 前端:Vue 数据库:MySQL5.7和Navicat管理工具结合 服务器:Tomcat8.5 开发软件:IDEA / Eclipse 是否Maven项目:是 目录…

米哈游、复旦发布,具备感知、大脑、行动的大语言模型“智能体”

ChatGPT等大语言模型展示了前所未有的创造能力,但距AGI(通用人工智能)还有很大的距离,缺少自主决策、记忆存储、规划等拟人化能力。 为了探索大语言模型向AGI演变,进化成超越人类的超级人工智能,米哈游与复…

分治类dp:1017T3

http://cplusoj.com/d/senior/p/SS231017C 感觉可以分治某个区间 [ l , r ] [l,r] [l,r],且他们都是在下面 k k k 已经选的基础上 然后肯定要枚举最大值,最大值越长越好 Hint 1 Hint 2 f ( l , r , k ) f(l, r, k) f(l,r,k) 可以通过枚举 m i d mid…

深入理解强化学习——强化学习智能体的四要素:模型(Model)

分类目录:《深入理解强化学习》总目录 相关文章: 强化学习智能体的四要素:策略(Policy) 强化学习智能体的四要素:收益信号(Revenue Signal) 强化学习智能体的四要素:价…

ubunu 18.04 LTS安装Qt-5.14-2并一起安装Qt Creator

作为初级qt用户,一定下载Qt的.run安装文件。 之前我安装5.15.10版本的源码,安装后一头雾水。 后来,我安装了低一点的版本5.14.2,它含有.run安装文件,比较顺利。 下面记录一下ubunu 18.04 LTS安装Qt-5.14-2并一起安装Q…

基于深度学习的目标检测模型综述

基于深度学习的目标检测模型综述 一 概论目标检测主要挑战评估指标 二 展望 一 概论 目标检测是目标分类的自然延伸,目标分类仅旨在识别图像中的目标。目标检测的目标是检测预定义类的所有实例并通过轴对齐的框提供其在图像中的初略定位。检测器应能够识别所有目标…

Python数据挖掘入门进阶与实用案例:自动售货机销售数据分析与应用

文章目录 写在前面01 案例背景02 分析目标03 分析过程04 数据预处理1. 清洗数据2.属性选择3.属性规约 05 销售数据可视化分析1.销售额和自动售货机数量的关系2.订单数量和自动售货机数量的关系3.畅销和滞销商品4.自动售货机的销售情况5.订单支付方式占比6.各消费时段的订单用户…

乾坤qiankun(微前端)样式隔离解决方案--使用插件替换前缀

一、前言 qiankun作为微前端的一种融合方式,目前也比较成熟,但是由于各类开发技术选型非常繁多,导致了在项目中配置不同,解决别人的问题,不一定能解决自己的问题。 使用的js框架的不同或版本的不同:vue/r…

手部关键点检测3:Pytorch实现手部关键点检测(手部姿势估计)含训练代码和数据集

手部关键点检测3:Pytorch实现手部关键点检测(手部姿势估计)含训练代码和数据集 目录 手部关键点检测3:Pytorch实现手部关键点检测(手部姿势估计)含训练代码和数据集 1. 前言 2.手部关键点检测(手部姿势估计)方法 (1)Top-Down(自上而下)方法 (2)Bot…

mac虚拟机安装homebrew时的问题

安装了mac虚拟机&#xff0c;结果在需要通过“brew install svn”安装svn时&#xff0c;才注意到没有下载安装homebrew。 于是便想着先安装homebrew&#xff0c;网上查的教程大多是通过类似以下命令 “ruby <(curl -fsSkL raw.github.com/mxcl/homebrew/go)” 但是都会出现…

防火墙管理工具增强网络防火墙防御

防火墙在网络安全中起着至关重要的作用。现代企业具有多个防火墙&#xff0c;如&#xff1a;电路级防火墙、应用级防火墙和高级下一代防火墙&#xff08;NGFW&#xff09;的复杂网络架构需要自动化防火墙管理和集中式防火墙监控工具来确保边界级别的安全。 网络防火墙安全和日…