从零到一，全面掌握Apache DolphinScheduler发版流程，实战派经验分享！

news2024/12/1 0:20:51

file

引言

Apache DolphinScheduler的发版流程对于确保软件质量和社区协作至关重要，社区Committer王兴杰为我们详细介绍了Apache DolphinScheduler的发版流程，包括环境准备、流程文档、基础工具准备、依赖包确认等关键步骤，并指出了发版流程中可能会遇到的麻烦以及相应的解决方案，欢迎学习指正。

一、发版物料

（1）Apache要求

a. Maven仓库物料（发版过程中会存储在临时库中） https://repository.apache.org/content/repositories/orgapachedolphinscheduler-{index}/org/apache/dolphinscheduler/

b. 发布包、签名文件和keys 对发布版本签名，用户也可据此判断下载的版本是否被篡改。

（2）DolphinScheduler要求 Dockerhub 镜像 Helm 文件

（3）权限要求

  • PMC Member拥有完整的发版权限；
  • Committer会有小部分权限缺失，需要PMC Member配合。

二、发版流程

  1. 环境准备
  • jdk ：1.8版本以上 （1.8.0_271）
  • Maven：尽可能保证3.9版本以上（3.9.6）
  • 低版本maven构建部署包会失败
  • gpg：各版本均可 （2.0.22）
  • svn：高于1.6版本（1.7.14 ），低版本会报错

file

  • git：1.8.3.1
  • 服务器系统：MacOS，Linux（Linux服务器、CentOS7）
  • 服务器要求需要能访问Apache官网或GitHub，目前Window在同步gpg、公钥ID时会出现异常，建议尽可能使用非Window系统。
  1. 发版流程文档
  • 中文： https://github.com/apache/dolphinscheduler/blob/dev/docs/docs/zh/contribute/release.md
  • 英文： https://github.com/apache/dolphinscheduler/blob/dev/docs/docs/en/contribute/release.md
  1. 基础工具准备 （1）gpg安装 按照文档执行操作

file （2）配置maven仓库

  • 修改settings-security.xml文件
  • 修改conf/settings.xml配置文件（注意路径），文件中的apache LDAP是apache对应的用户名密码，明文。
  1. 依赖包确认 这里主要检查依赖包对一个的license 和对应的下载地址。

file

可以查看pom的提交日志，查看修改记录，正常在review pr的时候会检查这一项。但是可能会有遗漏或重复的情况。

  1. 修改版本

（1）为了方便后续打包等操作，可以增加环境变量。包括后续对svn的一些操作所需的环境变量，建议在文档中新建的变量都创建为环境变量。

file

（2）文档版本修改

注意：docsdev.js是Apache DolphinScheduler官网该版本的引用位置相关文件，文件修改的效果只有在website的pr被merge之后才能体现，所以这部分文件需要严格按照文档修改，建议在打包之前检查一下文件的修改情况。

file

  1. 部署包构建发布

部署包的构建分为三个部分

（1）发布检查

a.分支准备

file

首先要在官方的github仓库创建prepare分支，fetch分支后运行上述命令。文档中的origin要根据用户clone的仓库决定，如果直接clone的是官方仓库，这里使用origin没有问题。如果使用的是fork的仓库，创建upstream（如果叫upstream的话）指向官方仓库，那GH_REMOTE得是upstream。发版的所有操作都是直接推到官方仓库。

一般情况prepare分支是基于dev创建的。 在clone或者创建upstream时，最好是使用git协议，不要使用https，否则推送tag会失败。

b.发版校验

命令运行大概需要8G内存，注意资源。

file

运行结束后最好检查一下dolphinscheduler-dist/target文件夹的大小，如果超过950M，并且没有瘦身策略，发版得暂停。

这一步主要是为了验证构建部署包的过程是否正确。

（2）发版准备

需要清理掉发版校验的文件，执行clean命令。clean命令执行后可能会存在部分文件未清理的情况，可以考虑执行git stash暂存。

这里如果是多次发版，需要再执行 mvn release命令之前清理掉本地和远程（官方仓库）的tag，否则会报错。这里需要提前配置 注意1 的内容。

该步骤不会有成果。

如果在命令中出现clone prepare分支失败的问题需要检查upstream的协议，网络等情况，如果网络不稳定可以重试。

此处需要检查仓库中prepare分支和tag的commit，需要一致。

file

（3）部署发布

 a. 执行命令

该命令基于发版准备的结果，所以【发版准备】的结果不能做任何修改（包括代码），命令结束后会在https://repository.apache.org/#stagingRepositories 中显示内容。这个内容可能会有一点点延迟，但正常不会超过五分钟。如果发现没有文件，大概率是maven的远程仓库配置问题，可以排查一下。

file

如果发版过程中发现有代码的修改，需要重新执行发版的操作，必须至少要从【发版准备】开始，执行【发版准备】前需要执行git release:clean 命令，如果有多余文件可以git stash暂存。多次发版需要注意stagingRepositories中文件的时间，如果发现时间与执行发版命令时间不对应情况可能说明包为同步。正常stagingRepositories的文件会替换，无需主动删除。

发版过程会使用到gpg -s的命令，命令的密码缓存应该是十分钟，如果服务器资源不太够，构建时间会超过十分钟，这里需要保证gpg 密码的缓存时间。

file

到这里所有发布包的构建流程已经结束。

b. 发布包提交apache仓库

file

建议将SVN_DIR_DEV和 SVN_DIR_RELEASE 也都设置为环境变量。

file

如果是committer这部其实可以不用执行， commit没有权限。

file

这里DolphinScheduler并没有打开对应的设置，所以这部分需要将gpg-key-id导出来后发给PMC帮忙添加，或者在发版邮件后补充。但是尽可能是添加到KEYS里面。

file

这里需要注意的是tar.gz.asc文件，可以使用【注意】部分的命令添加，但是在打包的时候其实是已经生成了。也可以手动在maven本地仓库里面拷贝出来。

部分服务器 shasum的命令没有，可以使用sha512sum shasum -a 512 = sha512sum.

file

打包日志里面写了生成的asc文件位置。

c. 发版文件检查

file

    除了上述的文件，建议在检查一下`doc/conf/docsdev.js`文件。

到此为止发版打包的工作就已经结束了。
  1. 发版邮件

创建RELEASE NODE

file

这里要求python要在3.0版本，生成的结果是一个md文件，文件中自带了pr的链接，最好是在检查一下pr的名称和对应的位置，这里的位置错误会较多，很多bug也到了improvement里。

RELEASE NODE创建好后会马上触发一个工作流，用来构建docker镜像和helm文件。构建的流水线日志可以在https://github.com/apache/dolphinscheduler/actions中查看。

【注意】如果是多次创建RELEASE NODE的话，需要检查一下 https://github.com/apache/dolphinscheduler/releases是不是有重复的内容，或者先把原来的删掉再创建新的。这里新创建的不会覆盖，只会新增。

邮件一共有三封

a. 发版投票邮件 按照指导文档中的内容编写邮件即可，发送邮件的邮箱需要提前订阅dev邮件，否则其他人回复的邮件无法看到。

邮件写完后再次检查一下里面涉及到所有的链接，是否有正确的内容。

等待72小时以上，至少有三名pmc参与投票，committer和contributor不要求数量。没有一名PMC发出-1的投票，则投票结束。

b.投票结束邮件 按照指导文档中的内容编写邮件即可，投票人员的title需要问社区，以前官网有pmc和committer的名单，但是最近找不到了。

c.第三封邮件在后续内容介绍

8. 官网文档修改

file

如果新增是一个两个版本号的版本，需要在 https://github.com/apache/dolphinscheduler/blob/dev/.github/ISSUE_TEMPLATE/bug-report.yml中添加对应的版本。比如3.3*这种。

这里的修改一定要仔细，如果修改错误官网就会有内容丢失甚至无法访问，注意符号的转义。

pr被merge后，官网的文档就已经可以查看了，这里浏览器会有缓存，清一下，或者无痕打开。

这里还需要再发一封邮件，通知发版已经结束。

邮件发布后需要删除prepare分支。

  1. 新闻稿件

新闻稿件主要是描述这次发版的主要变更，一般三位版本号的版本主要修复bug，和一些improvement。稿件中需要简述一下重点的pr内容，图片可以查看pr提交的内容，有的文档中会有对应的图片，中文文档的pr列表中需要翻译一下pr的名字。最后的贡献者在tool中有对应的工具，同样使用python3.0版本执行。

三、版本验证

  1. 官网文档 登录官网查看对应版本是否正常
  2. dockerhub镜像 不同的服务镜像不同，需要检查所有的镜像更新时间和tag

file

发版完成

恭喜你，完成以上步骤后，Apache DolphinScheduler的发版流程就全部结束了。感谢所有贡献者的辛勤工作和社区的支持，对发版工作感兴趣的朋友可以根据教程实操一下，社区欢迎这样的尝试。

本文由 白鲸开源科技 提供发布支持！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2059512.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

一机两用的“多面手”既防勒索病毒又能做到数据防泄密！

一机两用的“多面手”既防勒索病毒又能做到数据防泄密！

随着数字化转型的加速，企业对互联网的依赖日益加深，网络安全风险也随之增加。勒索病毒作为网络安全领域的一大威胁，不仅加密重要文件，还可能泄露敏感信息，给企业带来巨大损失。SPN沙盒产品，以其独特的隔离技…
阅读更多...
【python报错解决】ImportError: DLL load failed while importing win32gui: 找不到指定的程序

【python报错解决】ImportError: DLL load failed while importing win32gui: 找不到指定的程序

在 Python 中安装 pywin32 库 pip install pywin32安装完成后找到自己的 Python 根目录，在该目录下打开命令行。 在命令行中输入： python.exe Scripts/pywin32_postinstall.py -install执行后显示以下信息，即问题解决。 Parsed argumen…
阅读更多...
KP8530X系列KP85302SGA 650V耐压 集成自举二极管的半桥栅极驱动器 专用于驱动功率MOSFET或IGBT

KP8530X系列KP85302SGA 650V耐压 集成自举二极管的半桥栅极驱动器 专用于驱动功率MOSFET或IGBT

KP8530X系列KP85302SGA是一款 650V 耐压，集成自举二极管的半桥栅极驱动器，具有 0.3A 拉电流和 0.6A 灌电流能力，专用于驱动功率 MOSFETs 或 IGBTs。采用高压器件工艺技术，具有良好的电流输出及出色的抗瞬态干扰能力。在输入逻辑引…
阅读更多...
React+Vis.js（05）：vis.js的节点的点击事件

React+Vis.js（05）：vis.js的节点的点击事件

文章目录 需求实现思路抽屉实现完整代码需求 双击节点，弹出右侧的“抽屉”，显示节点的详细信息 实现思路 vis.network提供了一个doubleClick事件，代码如下： network.on(doubleClick, function (properties) {// console.log(nodes);let id = properties
阅读更多...
el-date-picker根据某个时间动态规定可选的的时间范围

el-date-picker根据某个时间动态规定可选的的时间范围

el-date-picker组件根据某一个时间段来动态规定当前时间选择的日期时间范围 例如&#xff1a;开始时间为2024-8-19&#xff0c;规定可循范围为30天的话&#xff0c;可选范围是2024-8-19至2024-9-19号之间 html <el-date-picker class"date" type"date"…
阅读更多...
【GIS开发学员故事】地信本科前后跨过六个行业，勇气是人生的第七件装备

【GIS开发学员故事】地信本科前后跨过六个行业，勇气是人生的第七件装备

“出过外业、送过外卖、搞过环境设计......” 今天&#xff0c;我们就来看看X同学的就业故事&#xff1a; 自我介绍 我毕业于21年&#xff0c;大学是地理信息科学专业&#xff0c;考过一次研&#xff0c;但是没有考上。去年来的新中地学习GIS开发&#xff0c;目前是在广东的…
阅读更多...
人机环境系统智能中有三种神经网络相互作用

人机环境系统智能中有三种神经网络相互作用

在人机环境生态系统智能中&#xff0c;人、机器和环境之间的相互作用确实涉及到三种神经网络的协作&#xff0c;分别是人的神经网络、机器的神经网络和环境的神经网络。 1. 人的神经网络 人的神经网络指的是人类大脑及其神经系统的复杂结构&#xff0c;通过神经元之间的连接来处…
阅读更多...
SpringBoot MySQL BinLog 监听数据变化(多库多表)

SpringBoot MySQL BinLog 监听数据变化(多库多表)

开始 1&#xff1a;引入mysql-binlog-connector-java.jar <!-- binlog --><dependency><groupId>com.zendesk</groupId><artifactId>mysql-binlog-connector-java</artifactId><version>0.27.1</version></dependency>…
阅读更多...
亦菲喊你来学习之机器学习（6）--逻辑回归算法

亦菲喊你来学习之机器学习（6）--逻辑回归算法

逻辑回归 逻辑回归&#xff08;Logistic Regression&#xff09;是一种广泛使用的统计方法&#xff0c;用于解决分类问题&#xff0c;尤其是二分类问题。尽管名字中有“回归”二字&#xff0c;但它实际上是一种分类算法&#xff0c;因为它试图通过线性回归的方式去预测一个事件…
阅读更多...
【计算机组成原理】二、数据的表示和运算：3.算术逻辑单元ALU（逻辑运算、加法器）

【计算机组成原理】二、数据的表示和运算：3.算术逻辑单元ALU（逻辑运算、加法器）

4.运算器ALU 文章目录 4.运算器ALU4.1逻辑运算非&#xff08;NOT&#xff09;与&#xff08;AND&#xff09;或&#xff08;OR&#xff09;异或&#xff08;XOR&#xff09;同或&#xff08;XNOR&#xff09; 4.2加法器4.2.1一位全加器4.2.2串行加法器4.2.3并行加法器 4.3ALU功…
阅读更多...
金九银十简历石沉大海？别投了，软件测试岗位饱和了....

金九银十简历石沉大海？别投了，软件测试岗位饱和了....

各大互联网公司的接连裁员&#xff0c;政策限制的行业接连消失&#xff0c;让今年的求职雪上加霜&#xff0c;想躺平却没有资本&#xff0c;还有人说软件测试岗位饱和了&#xff0c;对此很多求职者深信不疑&#xff0c;因为投出去的简历回复的越来越少了。 另一面企业招人真的…
阅读更多...
IDEA翻译插件-Translation

IDEA翻译插件-Translation

简介 Translation是一个为IntelliJ IDEA和其他基于JetBrains的IDE&#xff08;如 PyCharm、WebStorm 等&#xff09;设计的插件。这个插件的主要功能是帮助开发者在编写代码或文档时快速翻译文本。它集成了谷歌翻译、微软翻译、DeepL 翻译、OpenAI 翻译、有道翻译等众多翻译引…
阅读更多...
CISAW安全运维认证考试重点内容介绍

CISAW安全运维认证考试重点内容介绍

CISAW安全运维认证是信息、运维方面非常重要的证书&#xff0c;从事与信息安全以及运维方向的人员都会考这个证书&#xff0c;其持有证书在工作上带来极大的帮助。 那么&#xff0c;CISAW安全运维认证考试重点内容是什么&#xff1f;就目前的问题给大家一些列讲解&#xff0c;…
阅读更多...
vue-element-admin解决三级目录的KeepAlive缓存问题（详情版）

vue-element-admin解决三级目录的KeepAlive缓存问题（详情版）

vue-element-admin解决三级目录的KeepAlive缓存问题&#xff08;详情版&#xff09; 本文章将从问题出现的角度看看KeepAlive的缓存问题&#xff0c;然后提出两种解决方法。本文章比较详细&#xff0c;如果只是看怎么解决&#xff0c;代码怎么改&#xff0c;请前往配置版。 一…
阅读更多...
2007-2022年上市公司资源节约数据

2007-2022年上市公司资源节约数据

2007-2022年上市公司资源节约数据 1、时间&#xff1a;2007-2022年 2、来源&#xff1a;上市公司年报、社会责任报告、上市公司网站信息 3、指标&#xff1a;水资源节约、电力节约、原煤节约、天然气节约、汽油节约、柴油节约、集中供热节约、折算成统一标准煤共计节约 4、…
阅读更多...
stl容器适配器 stack与queue，priority_queue

stl容器适配器 stack与queue，priority_queue

目录 一.stack 1.stack的使用 2.适配器 3.stack相关的题目 最小栈. - 力扣&#xff08;LeetCode&#xff09; ​编辑 栈的弹出压入序列栈的压入、弹出序列_牛客题霸_牛客网 用两个栈实现队列. - 力扣&#xff08;LeetCode&#xff09; 4.stack的模拟实现 二.queue队列…
阅读更多...
一起学习LeetCode热题100道（48/100）

一起学习LeetCode热题100道（48/100）

48.路径总和 III(学习) 给定一个二叉树的根节点 root &#xff0c;和一个整数 targetSum &#xff0c;求该二叉树里节点值之和等于 targetSum 的 路径 的数目。 路径 不需要从根节点开始&#xff0c;也不需要在叶子节点结束&#xff0c;但是路径方向必须是向下的&#xff08;只…
阅读更多...
前端获取主流浏览器的信息进行判断 实现自适应内容（360浏览器）

前端获取主流浏览器的信息进行判断 实现自适应内容（360浏览器）

我一般都是用谷歌浏览器进行开发&#xff0c;在开发大屏可视化的时候出现了浏览器不适应的问题&#xff0c;需要不同的浏览器进行判断&#xff0c;360返回 Chrome 内核&#xff0c; 获取的信息无法跟谷歌浏览器区别 这个是中国的主流浏览器&#xff1a; 比如谷歌可以正常显示&…
阅读更多...
十要素超声波气象传感器

十要素超声波气象传感器

十要素微型气象传感器&#xff08;也称为全要素微型气象传感器&#xff09;通常具有以下几个基本功能&#xff1a; 温度测量&#xff1a;测量环境的温度&#xff0c;并提供实时温度数据。 湿度测量&#xff1a;测量环境的湿度水平&#xff0c;并提供实时湿度数据。 大气压力测…
阅读更多...
【安全靶场】-DC-5

【安全靶场】-DC-5

❤️博客主页&#xff1a; iknow181&#x1f525;系列专栏&#xff1a; 网络安全、 Python、JavaSE、JavaWeb、CCNP&#x1f389;欢迎大家点赞&#x1f44d;收藏⭐评论✍ 一、收集信息 1.用burp测试穷尽文件名 使用两个字典 发现footer页面 可能存在文件包含&#xff0c;因为co…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023