Apache DolphinScheduler 4月简报:社区发展与技术革新速递

news2024/11/20 6:26:17

各位热爱 DolphinScheduler 的小伙伴们,4 月份的 DolphinScheduler 社区月报更新啦!这里将记录 DolphinScheduler 社区每月的重要更新,欢迎关注!

月度 Merge 之星

感谢以下小伙伴 4 月为 Apache DolphinScheduler 所做的精彩贡献(排名不分先后):

file

@alei1206,@caishunfeng,@qingwli,@sdhzwc,@ruanwenjun,@pegasas,@songwenyong,@privking,@zhongjiajie,@xinxingi,@Gallardot,@abzymeinsjtu,@DaqianLiao,@atjiucheng,@calvinjiang,@xxzuo,@pinkfloyds

apache/dolphinscheduler功能更新及优化

Fix

  • [FIX]修复无法恢复已停止实例的问题 @privking
  • [Hotfix]修复dsip名称 @ruanwenjun
  • [Fix-15866][Doc]更新淘宝npm镜像地址 @xxzuo
  • [Bug][Helm]修复 image.registry @Gallardot
  • [Bug]在初始化模式下,QUARTZ表的顺序不正确。 @ruanwenjun
  • [Fix-15706]SeaTunnel的优化 @xinxingi
  • [Fix-15787]重用代码,解决...中复杂SQL解析异常的问题。 @xinxingi
  • [Bug] [Common]修复common.properties中的拼写错误 @pegasas
  • [Fix]将cpuUsage拆分为systemCpuUsage和jvmCpuUsage。 @ruanwenjun
  • [Bug]修复依赖任务逻辑 @abzymeinsjtu

Improve

  • [Improvement-15919][datasource]优化数据源获取名称 @sdhzwc
  • [Improvement-15910][UI]假设在并行执行模式下,应为自定义并行度提供一个默认值。 @calvinjiang
  • [Improvement]修复警报代码异味 @qingwli
  • [Improvement][Audit]将时间改为创建时间 @qingwli
  • [Improvement][Api]删除无用的batchUpdateUdfFunc方法 @qingwli
  • [Improvement]将python-gateway的默认设置改为false。 @pinkfloyds
  • [Improvement]检查异常字符 @pinkfloyds
  • [Improve]修正ProcessServiceImpl中的拼写错误 @qingwli
  • [improvement-15760][datasource-plugin]修复SQL任务拆分错误#15760 @songwenyong
  • [Improvement]添加完整资源名称检查 @caishunfeng
  • [Improvement-15744][parameter]项目参数添加更新时间及更新用户ID @sdhzwc
  • [Improvement-15713][api]数据源和UDF函数的列表查询应使用枚举代码值,而不是顺序号。 @songwenyong
  • [Improvement][Spark]支持本地Spark集群 @pegasas

Others

  • [TEST]增加项目偏好的服务测试覆盖率 @abzymeinsjtu
  • [DSIP-34]将 required_approving_review_count 设置为 2 @ruanwenjun
  • 并发修复自动创建tennant可能会导致任务失败。 @ruanwenjun
  • 在Java任务中,jar路径不正确。 @ruanwenjun
  • [TEST]增加项目参数服务测试的覆盖率 @abzymeinsjtu
  • 使用workerNodeInfoWriteLock更新工作节点信息 @DaqianLiao
  • [DSIP-32][Master]为master拉取命令添加获取策略 @ruanwenjun
  • 修复 kill 动态任务不会终止等待运行的工作流实例 @ruanwenjun
  • [DSIP-31]减少Hikari连接池的大小 @ruanwenjun
  • 修复了queryByTypeAndJobId可能因返回结果过多而引发的错误。 @ruanwenjun
  • 重構記錄审计日志的邏輯 @qingwli
  • [DSIP-28]不要扫描classpath下的整个项目bean。 @ruanwenjun
  • 添加DSIP模版 @ruanwenjun
  • [TEST]增加日志服务的覆盖率 @abzymeinsjtu
  • 修复写入审计日志的错误会导致请求失败。 @ruanwenjun
  • 修复 JDBC 注册表无法工作。 @ruanwenjun
  • 将SSH心跳类型更改为.IGNORE @ruanwenjun
  • Apache SeaTunnel中,禁止在运行中的工作流实例中强制完成任务实例。 @ruanwenjun
  • 将进程ID绑定到CodeGenerator的构建过程中 @ruanwenjun
  • 修复ErrorCommand在Command中丢失了一些字段 @ruanwenjun
  • [TEST]增加环境服务的覆盖范围 @abzymeinsjtu
  • 移除未使用的咖啡因缓存 @ruanwenjun
  • 无法构建StreamingTaskTriggerResponse的实例。 @atjiucheng
  • [TEST]增加数据源服务的覆盖范围 @abzymeinsjtu
  • [TEST]预警插件实例服务的覆盖率增加 @abzymeinsjtu
  • 从dolphinscheduler-task-dataquality中移除dolphinscheduler-data-quality @ruanwenjun
  • 直接使用Quartz的API来初始化一个调度任务。 @ruanwenjun
  • [DSIP-24][RemoteLogging]支持 AbsRemoteLogHandler @pegasas
  • [Worker]修复了一个问题,即在停止远程shell任务时,不会意外杀死远端的子进程#15570 @alei1206
  • [DSIP-26][Audit log]审计日志改进设计 @qingwli

apache/dolphinscheduler-sdk-python仓库功能更新与优化

  • 这个问题与Apache SeaTunnel的兼容性和最新版本有关。 @zhongjiajie
  • [ 这个问题是关于更新 setup-python 时遇到不支持的版本。在中文中,这可以表示为:"遇到 setup-python 不支持的旧版本,需要更新。" ]( https://github.com/apache/dolphinscheduler-sdk-python/pull/143 " 这个问题是关于更新 setup-python 时遇到不支持的版本。在中文中,这可以表示为:"遇到 setup-python 不支持的旧版本,需要更新。" ") @zhongjiajie

apache/dolphinscheduler-website

Improve

  • [Improvement]添加建议使用的稳定版本 @xxzuo

本文由 白鲸开源科技 提供发布支持!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1655129.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Graph RAG:基于知识图谱的检索增强技术与优势对比

身处信息爆炸时代,如何从海量信息中获取准确全面的搜索结果,并以更直观、可读的方式呈现出来是大家期待达成的目标。传统的搜索增强技术受限于训练文本数量、质量等问题,对于复杂或多义词查询效果不佳,更无法满足 ChatGPT 等大语言…

spark sql 与scala混合开发实现数据入mongodb

目录 概述资源解决问题效果环境配置相关包关键代码 测试测试结果 概述 在此提供 spark sql 与scala混合开发实现数据入mongodb 相关思路 将部分重复性功能进行通用化(使用SQL与Scala混合开发模式)。 相关组件 hadoop 3.3.6 spark 3.4.2 kyuubi 1.8.0 基于上术组件开发 资源 …

【笔试训练】day22

1.添加字符 求最少不相等的位数,可以先求最多相等的位数。 在添加字符之前,A和B最多相等的位数是多少?由于A后面可以添加字符,也就使得A字符可以在B的任意一个位置开始比较。遍历一遍这个比较的起点,从这个起点开始跟…

Angular中的路由

Angular中的路由 文章目录 Angular中的路由前言一、创建路由二、创建多个组件路由三、创建子路由四、创建多个组件子路由 前言 在Angular中,路由是用于在不同的视图和组件之间导航的机制。Angular提供了一种强大的路由机制来管理单页应用(SPA&#xff0…

Npm Install Docusaurus Demo【npm 安装 docusaurus 实践 】

文章目录 1. 简介2. 前提2.1 安装 git2.2 安装 node 3. 安装4. 项目结构5. 访问5.1 localhost 访问5.2 ip 访问 1. 简介 Docusaurus 是一个facebook的开源项目,旨在帮助开发者构建易于维护和部署的文档网站。它提供了一个简单的方法来创建专业的文档网站&#xff0…

asp.net结课作业中遇到的问题解决3

目录 1、想实现不止鼠标滑过就显示图片,初始化状态下也可以显示图片,且每个图片还会自动变化,该如何实现 2、 同一个项目下的网页之间可以直接在地址栏输入跳转到阅读界面从而实现在这个跳转,那么如何防止这种现象呢?…

python数据分析——pandas DataFrame基础知识1

参考资料:活用pandas库 1、加载数据集 通常调用read_csv函数来加载CSV数据文件。若是.tsv文件也是用read_csv函数。 # 导入库 import pandas as pd # 默认情况下,read_csv函数会读取逗号分隔文件 # Gapminder数据使用制表符分隔 # 可以吧sep参数设置为…

计算机组成原理网课笔记

无符号整数的表示与运算 带符号整数的表示与运算 原反补码的特性对比 移码

推荐非常方便的初始配置nginx的开源工具

官网 https://www.digitalocean.com/community/tools/nginx?global.app.langzhCN直接复制base64字符串在 /etc/nginx 目录执行,会自动生成配置文件,最后执行 使用tar解压新的压缩配置 tar -xzvf nginxconfig.io-xxx.com.tar.gz | xargs chmod 0644在…

中国结(科普)

中国结是一种手工编织工艺品,它身上所显示的情致与智慧正是汉族古老文明中的一个侧面。 [1]它原本是由旧石器时代的缝衣打结,后推展至汉朝的仪礼记事,再演变成今日的装饰手艺。周朝人随身的佩戴玉常以中国结为装饰,而战国时代的铜…

Golang | Leetcode Golang题解之第78题子集

题目: 题解: func subsets(nums []int) (ans [][]int) {set : []int{}var dfs func(int)dfs func(cur int) {if cur len(nums) {ans append(ans, append([]int(nil), set...))return}set append(set, nums[cur])dfs(cur 1)set set[:len(set)-1]df…

Java 11 到 Java 8 的兼容性转换

Java 11 到 Java 8 的兼容性转换 欲倚绿窗伴卿卿,颇悔今生误道行。有心持钵丛林去,又负美人一片情。 静坐修观法眼开,祈求三宝降灵台,观中诸圣何曾见?不请情人却自来。 入山投谒得道僧,求教上师说因明。争奈…

从离线到实时:无锡锡商银行基于 Apache Doris 的数据仓库演进实践

作者:武基鹏,无锡锡商银行 大数据技术经理 编辑整理:SelectDB 技术团队 导读:为实现数据资产的价值转化以及全面数字化、智能化的风险管理,无锡锡商银行大数据平台经历从 Hive 离线数据仓库到 Apache Doris 实时数据仓…

ifconfig命令找不到 command not found

问题 今天解决虚拟机的网络问题后,使用ifconfig发现报错命令未找到 解决方案 输入yum install ifconfi的程序安装包 yum install ifconfig 如果显示没有可用软件包 ifconfig,错误:。 就输入yum search ifconfig匹配安装包程序 yum searc…

数仓开发,分层(ods,dw,app层)

1、从数据源中导入源数据,到ODS表,作为事实表的数据 2、可以根据自己的开发设计,是否单独分支出来一个维度表,帮助和协助处理源数据表ODS层 和需求层ADS(APP)层 3、现在我们有了一个事实ODS层&#xff0…

力扣每日一题119:杨辉三角||

题目 简单 给定一个非负索引 rowIndex,返回「杨辉三角」的第 rowIndex 行。 在「杨辉三角」中,每个数是它左上方和右上方的数的和。 示例 1: 输入: rowIndex 3 输出: [1,3,3,1]示例 2: 输入: rowIndex 0 输出: [1]示例 3: 输入: rowIndex 1 输出…

基于SSM的“小型企业人事管理系统”的设计与实现(源码+数据库+文档+PPT)

基于SSM的“小型企业人事管理系统”的设计与实现(源码数据库文档PPT) 开发语言:Java 数据库:MySQL 技术:SSM 工具:IDEA/Ecilpse、Navicat、Maven 系统展示 系统功能结构图 登录界面 个人信息页面 用户打卡页面 扣…

C++贪心算法

关于string的系统函数! (注:以下函数只可用于string,不适用其他类型的变量) ① a.size(); 这个系统函数是用来获取这个string变量的长度的,我们通常会新建一个变量来保存他,以便之后使用。 …

跨协议通讯无缝对接:Modbus-BACnet楼宇智能转换器深度解析

在现代化的建筑群里,智能楼宇管理系统如同神经系统,协调着各设备的运行。某大型商业综合体,集购物中心、办公区、酒店于一体,面对着来自不同供应商的设备,如何实现统一管理和高效通讯成了首要挑战。特别是其内部既有采…

区块链 | NFT 水印:Review on Watermarking Techniques(一)

🍍原文:Review on Watermarking Techniques Aiming Authentication of Digital Image Artistic Works Minted as NFTs into Blockchains 1 应用于 NFT 的水印技术 常见的水印技术类型可以分为: 可见 v i s i b l e \mathsf{visible} visi…