Apache DolphinScheduler 3.2.2 版本正式发布!

news2024/11/23 18:42:00

file

Apache DolphinScheduler 3.2.2 版本正式发布!

近日,Apache DolphinScheduler 发布了 3.2.2 版本。此版本主要基于 3.2.1 版本进行了 bug 修复,新增若干特性,并进行了众多改进和 Bug 修复,以及文档修复等。

📥3.2.2版本下载:https://dolphinscheduler.apache.org/zh-cn/download/3.2.2

⚙️Release Note:https://github.com/apache/dolphinscheduler/releases/tag/3.2.2

主要更新

增加参数类型

为了更有效地提升用户体验,本版本针对工作流启动参数、全局参数等参数类型进行拓展,把原有的固定 VARCHAR 数据值类型参数,拓展成为用户能够自行选择的多种类型。

作业数量统计

增加 Master&Worker 的忙碌状态,且增加 alert-server 服务监控,对页面 UI 显示进行优化,便于用户更为直观地监控核心服务状态。另外,增加工作流启动命令和失败命令的展示页面,方便用户直观地掌握工作流启动命令执行情况。

其他重要问题修复

  • 完善了remote shell文档
  • 对工作流操作增加依赖提示
  • 页面交互优化(项目偏好设置)
  • 替换云环境中Java任务依赖环境为jdk
  • 对文件操作的全路径检测
  • 增加记录项目参数的操作详情
  • 优化告警服务启动时加载bean范围
  • 修复参数丢失问题
  • 分页查询时总页数错误问题
  • 修复任务终止后异常调度问题
  • 修复普通用户授权项目问题
  • 修复任务组执行异常导致OOM问题
  • 优化Switch节点检查分支是否存在

新增Feature

  • [DSIP-39][参数] 改进启动参数/全局参数/项目参数数据类型 ( #15967 )@sdhzwc
  • [Improvement][监控] 显示 Master&Worker 忙碌或正常状态并显示命令表列表 ( #15978 )@qingwli
  • 添加 ETCD/JDBC 注册指南链接 ( #15597 )@pegasas

Improvement

将schema 330 合并到 321 并更改文档 ( #15582 ) ( #15586 )@zhongjiajie

[Improvement][API] 添加 PageInfo UT ( #15622 )@Gallardot

[Improvement-15603][API] 删除、修改工作流时,系统可以检查是否有任何任务依赖于它。(#15681)@calvinjiang

[Improvement-15694][UI] 保存任务表单后,任务节点使用错误的背景颜色。( #15695 )@calvinjiang

[Improvement-15707][Master] 解决有任务依赖的工作流无法正常运作的问题( #15712 )@calvinjiang

[Improvement-15723][UI] 解决项目偏好设置替换遗漏问题( #15724 )@calvinjiang

[Improvement-15725][UI] 项目偏好设置的默认选项可以清除。( #15727 )@calvinjiang

[CI] 合并前需要传递前端 ci ( #15735 )@SbloodyS

[Improvement][RemoteLogging] 将 init 移至 loghandler ( #15780 )@pegasas

[Improvement] 添加资源全路径检查 ( #15786 )@caishunfeng

[Improvement-15744][parameter] 项目参数增加更新时间及更新用户id ( #15745 )@sdhzwc

从 dolphinscheduler-task-dataquality 中删除 dolphinscheduler-data-quality (#15791)@ruanwenjun

[Improvement-15713][api]DataSource 和 UdfFunc 列表查询使用枚举代码值而不是ordinal ( #15714 )@songwenyong

[Improvement] 修复 ProcessServiceImpl 的拼写错误 ( #15817 )@qingwli

[Improvement][Api] 删除无用的 batchUpdateUdfFunc 方法 ( #15844 )@qingwli

[Fix-15866][Doc] 更新taobao npm 镜像地址 ( #15867 )@xxzuo

添加 DSIP 模板(#15871)@ruanwenjun

[DSIP-28] 不要扫描类路径下的整个目录 bean(#15874)@ruanwenjun

[DSIP-31] 减少 hikari 的连接池大小 ( #15890 )@ruanwenjun

[Improvement] 修复警报代码坏味道 ( #15892 )@qingwli

使用 workerNodeInfoWriteLock 更新工作节点信息 ( #15903 )@DaqianLiao

[Improvement-15919][datasource] Improvement数据源获取名称 ( #15920 )@sdhzwc

[Improvement-15910][UI] 使用并行执行模式时,应为自定义并行度提供默认值。( #15912 )@calvinjiang

优化 RPC 基类的范围(#15946)@ruanwenjun

[DSIP-35][Alert] 重构警报线程模型 ( #15932 )@ruanwenjun

[Improvement] 修复 pytorch 任务中的 git url 命令注入问题( #15873 ) ( #15950 )@cntigers

添加注册模块统一集成测试 ( #15981 )@ruanwenjun

[Improvement] 使用带有 snake yaml 的安全构造函数 ( #15758 )@EricGao888

[Improvement][监控] 为监控器添加 UT ( #15998 )@qingwli

弃用 2.0.9/3.0.6 升级测试(#16012)@ruanwenjun

[Improvement][Doc]修正 appendix.md 中文文档中的错别字 ( #16033 )@TianXinCoord

[Improvement][Helm] 制作 api/master/worker/alert 配置的 configmap ( #16058 )@pegasas

[Improvement-16125][dolphinscheduler-dist] 减少二进制分发 tarball 文件的大小 ( #16192 )@zhuxt2015

Bugfix

修复恢复暂停工作流实例可能会生成故障转移任务实例问题(#15611)@ruanwenjun

[FIX] 修复审计日志的 parma 拼写错误 ( #16077 )@qingwli

修复 out 参数可能丢失问题 ( #15617 )@ruanwenjun

[Bug][API] 列表分页缺少总页数 ( #15619 )@Gallardot

修复 Hive jdbc url(#15627)@xxzuo

[Bug][dolphinscheduler-task-seatunnel] 脚本资源文件路径错误 ( #15621 )@cqutwangyu

[Bug] 修复可以修改不在资源路径下的文件的问题 ( #15652 )@ruanwenjun

[Bug] 修复即使任务已被终止也可能会被调度的问题(#15662)@ruanwenjun

[Bug] [Worker] 修复:创建具有主目录的 Linux 用户 ( #15670 )@zero-element

[Fix-15639] [Master] paramterPassing 为空情况 NPE ( #15678 )@liuchunhua

[Fix-15679][UI] 修复开关状态按钮显示不正确问题 ( #15686 )@liuchunhua

[Fix][Master] 修复 worker 故障转移时的潜在危险 ( #15689 )@ZhongJinHacker

[bug][插件]修复 readme.md 中的单词拼写错误 ( #15716 )@ZhongJinHacker

修复“启动参数覆盖全局参数”时出现的 NullPointerException 问题 ( #15677 )@wustlz

[CI] 修复 UI 构建错误 ( #15732 )@SbloodyS

[Fix-15698][UI] 在新标签页中打开时关闭定义 ( #15736 )@arlendp

[CI] 修复前端 ci 不触发问题 ( #15749 )@SbloodyS

[Bug] 当特定工作流版本下存在未完成的工作流实例时,禁止删除该版本(#15730)@ruanwenjun

[Bug] 修复延迟执行任务永远不会被调度的问题 ( #15751 )@ruanwenjun

[Bug] 修复 Switch 任务不检查分支是否存在问题 ( #15755 )@ruanwenjun

[Fix] 添加资源全名检查 ( #15757 )@caishunfeng

[Fix-15771] 修复普通用户可以授予项目权限的问题 ( #15772 )@silentxingtian

[bug][ui] 添加缺失的数据源并更新数据源 ID ( #15776 )@whhe

[Bug] 修复 TaskGroupCoordinator 在有大量等待 TaskGroupQueue 时可能导致 OOM 的问题 ( #15773 )@ruanwenjun

[Bug] 修复依赖任务逻辑 ( #15795 )@abzymeinsjtu

[Bug] [Common] 修复 common.properties 上的拼写错误(#15806)@pegasas

修复无法构造 StreamingTaskTriggerResponse 实例的问题(#15816)@atjiucheng

[Improvement] 异常字符检查 ( #15824 )@pinkfloyds

[Improvement] 修改 python-gateway: enabled 默认为 false。( #15825 )@pinkfloyds

[Fix-15787] 重用代码并解决复杂 SQL 解析异常的问题... ( #15833 )@xinxingi

修复 ErrorCommand 丢失 Command 中的某些字段 ( #15847 )@ruanwenjun

绑定 processId 来构造 CodeGenerator ( #15848 )@ruanwenjun

禁止强制成功运行正在运行的工作流实例中的任务实例 ( #15855 )@ruanwenjun

[Bug] 修复 QUARTZ 表顺序在初始化模式中不正确的问题 ( #15857 )@ruanwenjun

将 ssh 心跳类型更改为 IGNORE(#15858)@ruanwenjun

[FIX] 修复恢复已停止实例失败的问题 ( #15880 )@privking

修复 queryByTypeAndJobId 可能因多个结果而出错的问题 ( #15883 )@ruanwenjun

修复终止动态任务不会终止等待运行的工作流实例问题 ( #15896 )@ruanwenjun

修复自动并发创建 Tennat 会导致任务失败的问题 ( #15909 )@ruanwenjun

修复 java 任务中 jar 路径不正确的问题 ( #15906 )@ruanwenjun

[修复] 已完成的任务无法在工作流实例中重新执行(#15884)@privking

[Fix-15937] 将 tenantCode 传播添加到 DynamicCommandUtils.createCommand(#15956)@stoplyy

[fix-15907] 修复获取远程 shell 退出代码不正确的问题 ( #15911 )@Zzih96

[Fix-15969] [Helm] 不存在 DB 节点 ( #15970 )@Gallardot

EMR 任务支持替换参数占位符 ( #15975 )@ruanwenjun

文档:修复拼写错误(#15996)@jbampton

修复 ci 中 pg 数据库架构变更检查失败问题 ( #15995 )@ruanwenjun

[Fix-15992] 通过有序迭代 MasterPriorityQueue 来维护slot index(#15993)@coldestlin

修复由于 varpool 中的重复键导致工作流实例重新启动失败问题(#16001)@ruanwenjun

在注册表 IT 中使用随机端口 ( #16014 )@ruanwenjun

修复并发操作导致的 rpc channel 泄漏 ( #16021 )@ruanwenjun

修复 WorkerTaskExecutorThreadPool#isOverload 不正确的问题 ( #16027 )@ruanwenjun

[Fix][CI] 修复 E2E-K8S-Execute 的 ci 错误 ( #16031 )@rickchengx

[Hotfix] 修复 NettyRemotingClient 可能抛出 IllegalMonitorStateException 的问题 ( #16038 )@ruanwenjun

[Fix-16046][SqlTask] 修复 Sql 任务使用时间类型不正确的问题 ( #16050 )@yinxiaolog

[helm] 从通用标签中删除 AppVersion ( #16066 )@Gallardot

恢复“[Improvement] 异常字符检查”(#16102)@ruanwenjun

修复状态为 dispatch 的任务实例不会进行故障转移 ( #16107 )@ruanwenjun

修复切换任务下的任务节点不会被跳过 ( #16108 )@ruanwenjun

[Bug] 修复条件任务会导致工作流实例失败 ( #16152 )@ruanwenjun

[Fix-16063] 修复升级到 v3.2.1 后管理员登录租户未指定的问题 ( #16064 )@tinglink

[Fix-16174] 集群安装指南不正确。(#16208)@SbloodyS

[Fix-16222] 修复 worker 过载导致任务失败的问题 ( #16221 )@ruanwenjun

[Fix-16211] 删除 buildJarCommand 中的 ExecutePath 以修复 Jar 模式下的 Java 任务(#16238)@lanxing2

[Fix-16253] 修复 JDBCRegistry 刷新锁错误 ( #16252 )@ruanwenjun

[Fix-16272][警报服务器] 警报服务器发送警报失败 ( #16275 )@wangbowen1024

[CP-16252] 修复 JDBCRegistry 刷新锁定错误 ( #16252 ) ( #16273 )@ruanwenjun

[Fix-16191] 修复任务无法使用工作流的环境 ( #16199 )@ruanwenjun

[Bug][Worker] 将 jre 替换为 jdk ( #15764 )@Gallardot

Document修复

[DSIP-32][Master] 为master获取命令添加命令获取器策略 ( #15900 )@ruanwenjun

[Doc] 修复 CNCF logo(#15634)@Gallardot

[Doc][远程 shell] 缺少版本 3.2.1 的远程 shell 文档 ( #15660 )@pegasas

[Doc] 修复 ci 文档检查超时问题 ( #15664 )@SbloodyS

[Doc] 修复资源配置存在拼写错误 ( #15988 )@dongyu6

文档:修复 contribute.md 中的类型(#16022)@jxbwhe

Chore

琐事:修改一些 CODEOWNERS(#15654)@zhongjiajie

[HotFix] [CI] 暂时跳过可合并检查 ( #15958 )@SbloodyS

[Chore] 撤销 3.2.2 版一些不兼容的更改 ( #16214 )@SbloodyS

[Chore] 报警服务器发送报警失败 ( #16275 ) ( #16284 )@SbloodyS

[Chore] [Cherry-Pick] 挑选一些 pr 到 3.2.2 ( #16215 )@SbloodyS

[Hotfix] 修复 dsip 名称问题 ( #15876 )@ruanwenjun

致谢贡献者

感谢本次发版人@wangxj3 主导本次发版工作,@Kerwin、@ruanwenjun和@SbloodyS 对本次发版工作的指导,以及以下 Contributor 的支持(排名不分先后): DaqianLiao, EricGao888, Gallardot, SbloodyS, TianXinCoord, ZhongJinHacker, Zzih96, abzymeinsjtu, arlendp, atjiucheng, caishunfeng, calvinjiang, cntigers, coldestlin, cqutwangyu, dongyu6, jbampton, jxbwhe, lanxing2, liuchunhua, pegasas, pinkfloyds, privking, qingwli, rickchengx, ruanwenjun, sdhzwc, silentxingtian, songwenyong, stoplyy, tinglink, wangbowen1024, whhe, wustlz, xinxingi, xxzuo, yinxiaolog, zero-element, zhongjiajie, zhuxt2015

本文由 白鲸开源科技 提供发布支持!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1943968.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

培训第十二天(samba共享与DNS域名解析)

上午 samba与nfs都是用于局域网 1、安装samba软件 (1)关闭防火墙与selinux [rootsamba ~]# systemctl stop firewalld[rootsamba ~]# setenforce 0[rootsamba ~]# systemctl disable firewalld[rootsamba ~]# vim /etc/selinux/config (…

SDWAN跨境网络专线如何帮助企业运营社交媒体平台如Facebook、Twitter等

在全球化日益加深的今天,越来越多的企业选择通过社交媒体平台如Facebook、Twitter等进行品牌推广和引流。然而,跨境访问这些平台时,网络延迟、连接不稳定、IP地址被封禁等问题常常困扰着企业,严重影响了其运营效率和推广效果。为了…

STM32智能楼宇管理系统教程

目录 引言环境准备智能楼宇管理系统基础代码实现:实现智能楼宇管理系统 4.1 数据采集模块 4.2 数据处理与控制模块 4.3 通信与网络系统实现 4.4 用户界面与数据可视化应用场景:楼宇管理与优化问题解决方案与优化收尾与总结 1. 引言 智能楼宇管理系统通…

杰发科技Bootloader(1)—— Keil配置地址

IAP方式 BootLoader方式 UDSBoot方式 AC7801的地址分配 用户空间的的地址从8000000开始分配,大小是64页,即128K。 RAM地址从20000000开始 基于UDSboot调试-Boot 烧录Boot之后,ATClinkTool无法连接 用keil查看内存,地址到8005388…

spring部分源码分析及Bean的生命周期理解

前言: 本文整体框架是通过refresh方法这个入口进入分析:分析IOC容器的创建及一些Bean的生命周期的知识点,写得确实一般般,感觉自己的有些前置知识并没有理解的很到位,所以,这篇文件先记录一下,…

go语言day14 bufio包 ioutil包

Golang-100-Days/Day16-20(Go语言基础进阶)/day16_file操作.md at master rubyhan1314/Golang-100-Days GitHub 一、bufio包 读写文件 1) bufio包下的Reader类实现了Read()方法和Write()方法 2)和io包相比,虽然都是在读写文件,…

【SQL】字段筛选出含有某些关键词,模糊匹配LIKE的用法

如果我们要查询数据库中,某个字段含有一些文字,例如查名字的时候,查询开头含有某些姓氏的人,或者查询以某些符号结尾的文字,都可以用模糊匹配来查询字段,WHERE子句LIKE 的操作符搜索。 以下是一些使用示例…

开源XDR-SIEM一体化平台 Wazuh (2)安装

简介 安装 Wazuh indexer 可以根据具体需求和环境选择多种方法。可以通过脚本安装,也可以通过yum/apt等安装工具进行安装,详细安装方式可以参考Wazuh documentation官方文档。 即除了上述的安装方式外,还可以通过集成式的镜像进行运行。可以…

Mac 中安装内网穿透工具ngrok

ngrok 是什么? Ngrok 是一个网络工具,主要用于在网络中创建从公共互联网到私有或本地网络中运行的web服务的安全隧道。它充当了一个反向代理,允许外部用户通过公共可访问的URL访问位于防火墙或私有网络中的web应用程序或服务。Ngrok 特别适用…

Mindspore框架循环神经网络RNN模型实现情感分类|(二)词向量

Mindspore框架循环神经网络RNN模型实现情感分类 Mindspore框架循环神经网络RNN模型实现情感分类|(一)IMDB影评数据集准备 Mindspore框架循环神经网络RNN模型实现情感分类|(二)预训练词向量 Mindspore框架循环神经网络RNN模型实现…

大模型额外篇章三:vercel搭建openai中转服务器

文章目录 一、起因和注意1)起因2)注意二、实现方法(原理:透传)1)nginx方案2)node服务3)纯 js 方案4)选择国外的域名服务商(DNS 解析路径缩短,建议方案国外提供 CDN 云服务商结合自建云服务业务做负载均衡)三、实践(vercel部署OpenAI代理服务器)四、测试搭建的Ope…

UE4 自动换行——按排序关键字1.2.3.

要自动换行的字符串举例&#xff1a;“有效节点为:1.demo-worker-02 2.demo-worker-01 3.demo-master-01” 1.获取相邻两位字符串&#xff0c;组合后与关键字比较 2.当两位字符串与关键字相等&#xff0c;附加一次换行 3.其他例如 1)2)3)、(1)(2)(3)、<1><2><…

XLua 原理分析 三

前面已经介绍了Lua与C#的基础通信原理&#xff0c;和Wrap中间文件的作用。有了前面2篇的基础&#xff0c;大概已经能搞清这块的原理。 为了加深对这块的印象&#xff0c;这里开始正式分析Xlua中的Lua和C#的通信。 一、Lua如何调用CS的过程 lua的初始化代码&#xff1a; pri…

驱动开发系列06 - 内存映射和DMA

目录 一:概述 二:Linux中的内存管理 地址类型 物理地址与页 高内存和低内存 内存映射和页结构体 页表 虚拟内存区域 vm_area_struct 结构 进程内存映射 三:mmap 设备操作 使用 remap_pfn_range 一个简单的实现 添加 VMA 操作 使用 nopage 映射内存 重新映射特定 I/O…

QT5.9.9+Android开发环境搭建

文章目录 1.安装准备1.1 下载地址1.2 安装前准备2.安装过程2.1 JDK安装2.1.1 安装2.1.2 环境变量配置2.2 SDK配置2.2.1 安装2.2.2 环境变量配置2.2.3 adb 错误解决2.2.4 其他SDK安装2.2.5 AVD虚拟机配置2.3 NDK配置2.4 QT 5.9.9安装配置2.4.1 QT安装2.4.2 配置安卓环境3.QT工程…

Android Kotlin:协程

目录&#xff1a; 1&#xff09;协程是什么&#xff1f; 2&#xff09;协程和线程的关系&#xff1f; 3&#xff09;协程如何使用&#xff1f;切线程是什么 4&#xff09;挂起函数是什么&#xff1f; 5&#xff09;withContext和lanuch的区别在哪里&#xff1f; 6&#xff09;…

某矿webpack逆向

免责声明&#xff1a; 本篇博文的初衷是分享自己学习逆向分析时的个人感悟&#xff0c;所涉及的内容仅供学习、交流&#xff0c;请勿将其用于非法用途&#xff01;&#xff01;&#xff01;任何由此引发的法律纠纷均与作者本人无关&#xff0c;请自行负责&#xff01;&#xf…

华媒舍:6个媒体宣发套餐,快速突破传播界限

在当今信息爆炸的社会中&#xff0c;有效地传播自己的信息变得愈发困难。特别是对于媒体宣发来说&#xff0c;如何在市场竞争激烈的情况下突破传播界限&#xff0c;让自己的消息传达给更多的人&#xff0c;这是每个企业和个人都面临的难题。 为了解决这个问题&#xff0c;我们推…

图片变更检测

20240723 By wdhuag 目录 前言&#xff1a; 参考&#xff1a; 文件监控&#xff1a; 图片占用问题&#xff1a; 源码&#xff1a; 前言&#xff1a; 由于第三方图像处理软件不能回传图片&#xff08;正常都能做&#xff0c;这里只是不想做&#xff09;&#xff0c;只能在…

有什么好用的AI工具推荐吗?

AI视频生成&#xff1a;小说文案智能分镜智能识别角色和场景批量Ai绘图自动配音添加音乐一键合成视频https://aitools.jurilu.com/ 所有打工人集合&#xff01;根据你问题中的描述&#xff0c;本小白正好都有涉及过相关领域的AI工具。 今天一次性讲清能处理所有办公场景的AI工具…