【任务调度】Apache DolphinScheduler中关于全局参数设置、自定义参数、补数的介绍

news2025/1/19 14:19:02

Apache DolphinScheduler是一个分布式和可扩展的开源工作流协调平台,具有强大的DAG可视化界面。

今天在海豚调度的一个接口中想入参一个当前时间(要求格式为yyyyMMddhhmmss),找了找发现如下几种方法,给记录一下:

1.全局参数设置
在设置DAG图名称这一位置设置全局参数,这个设置的参数便可以设置成自己想要的日期格式,在接口处添加入参时该入参便可以通过 c o m p l e m e n t d a t e 得到 {complement_date}得到 complementdate得到{yyyy-MM-dd}这个时间值。
在这里插入图片描述
2.自定义参数
在这里插入图片描述
基础内置参数有上述三个,但是衍生出来的却有许多个,如下图:
在这里插入图片描述
在这里插入图片描述

3.补数
何为Apache DolphinScheduler 补数功能?
3.1补数一天,如下图
未开启补数时, [ y y y y − M M − d d ] :默认获取当前日期开启补数功能, [yyyy-MM-dd] :默认获取当前日期 开启补数功能, [yyyyMMdd]:默认获取当前日期开启补数功能,[yyyy-MM-dd] :获取的是,序号4位置所设置的调度日期
在这里插入图片描述
3.2补数一段时间,如下图
串行执行补数逻辑:点击运行,传入 2023-02-05 执行一遍 test_ds_bushu 里面所有的 job,执行完成传入 2023-02-06 执行一遍,直至传入 2023-02-09 执行一遍结束。
在这里插入图片描述

补数据使用的参数
${system.biz.date} : 日常调度实例定时的定时时间前一天,格式为 yyyyMMdd,补数据时,该日期 +1
${system.biz.curdate} : 日常调度实例定时的定时时间,格式为 yyyyMMdd,补数据时,该日期 +1
${system.datetime} : 日常调度实例定时的定时时间,格式为 yyyyMMddHHmmss,补数据时,该日期 +1

4.归纳总结:

${system.biz.date}${system.biz.curdate}${system.datetime} 这三个完全可以不用在补数的,直接在全局参数设置、自定义参数设置中使用也可以的。
${system.biz.date} 为日常调度实例定时的定时时间前一天(yyyyMMdd格式)
${system.biz.curdate} 为日常调度实例定时的定时时间(yyyyMMdd格式)
${system.datetime} 为日常调度实例定时的定时时间(yyyyMMddHHmmss格式)
参考文档

DolphinScheduler使用系统时间
https://xionglang.blog.csdn.net/article/details/125444442?spm=1001.2101.3001.6650.3&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-3-125444442-blog-114333766.235%5Ev43%5Epc_blog_bottom_relevance_base6&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-3-125444442-blog-114333766.235%5Ev43%5Epc_blog_bottom_relevance_base6&utm_relevant_index=6

大数据|海豚调度官方文档注解
https://blog.csdn.net/Changxing_J/article/details/134001440

Apache DolphinScheduler补数功能应用
https://blog.csdn.net/m0_58048130/article/details/129834825?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_baidulandingword~default-4-129834825-blog-126719140.235^v43^pc_blog_bottom_relevance_base6&spm=1001.2101.3001.4242.3&utm_relevant_index=7

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1712231.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

CTF实战分享 | RWZIP

前言 首先我们要了解,压缩包本身并不具备隐藏信息的功能,但由于在CTF竞赛中,经常出现压缩包与隐写术结合在一起的题目,所以我们需要掌握在CTF竞赛中有关 ZIP 压缩包题目的常见题型及分析手段。 读者福利 | CSDN大礼包&#xff1a…

css设置文字在固定宽度中等距分开(仅限于单行文本)

一、要实现的效果: 二、代码 要在CSS中设置文本在一个固定宽度的容器中等距分开, 可以使用text-align: justify;属性,它可以让文本两端对齐,看起来就像是等距分开的。 但是要注意,单独使用text-align:justify;只能对单…

Midjourney如何控制光照?提示词灵感来了!

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 Midjourney如何控制光照?提示词灵感来了!文章目录 前言总结 前言 Midjourney v6 已经更新好久了,你知道有哪些可以控制光照效果的关键词吗…

数据结构---单向链表

思路分析: 1. 设计 struct LinkNode 节点结构体 strut LList 链表结构体 typedef void *LinkList 给用户使用链表指针 2. 初始化链表 LinkList mylist init_LinkList(); 3. 插入链表 void inser…

使用python实现炫酷的渐变色

使用python实现炫酷的渐变色 1、前言2、所需条件3、实现步骤步骤1:定义渐变函数步骤2:将渐变应用于目标颜色步骤3:定义参数并执行 4、完整代码5、总结 1、前言 通过应用颜色渐变,可以大大提升图像的视觉效果。在这篇博客中&#…

2025第十届美陈展

展位又遭疯抢!2025第十届美陈展释放“无界之美” 美是全球通用的语言,人类对美的追求始终如一,大众审美在经历了时代的变迁后开始趋同,东方文明深处的美学经济开始崛起。 在如今商业迈入存量阶段,以品牌为突破口打造…

基于VMware安装Linux虚拟机

1.准备Linux环境 首先,我们要准备一个Linux的系统,成本最低的方式就是在本地安装一台虚拟机。为了统一学习环境,不管是使用MacOS还是Windows系统的同学,都建议安装一台虚拟机。 windows采用VMware,Mac则采用Fusion …

有免费通配符证书吗?哪里可以申请?

市面上的免费SSL证书大多数为单域名证书,如果您的主域名拥有众多子域名,逐一申请单域名SSL证书不太现实,下面为介绍一款永久免费使用的通配符SSL证书申请流程 1 选择免费通配符证书提供商 免费通配符证书申请点击这里直接获取https://www.…

【DZ模板】价值288克米设计APP手机版DZ模板 数据本地化+完美使用

模版介绍 【DZ模板】价值288克米设计APP手机版DZ模板 数据本地化完美使用 腾讯官方出品discuz论坛DIY的后台设置,功能齐全,论坛功能不亚于葫芦侠,自定义马甲,自定义认证,自定义广告,完全可以打造出自己想…

据阿谱尔APO Research调研显示,2023年全球模塑纤维包装市场销售额约为60.4亿美元

根据阿谱尔 (APO Research)的统计及预测,2023年全球模塑纤维包装市场销售额约为60.4亿美元,预计在2024-2030年预测期内将以超过2.7%的CAGR(年复合增长率)增长。 对永续和环保包装解决方案的需求不断增长,以…

Python | Leetcode Python题解之第103题二叉树的锯齿形层序遍历

题目: 题解: class Solution:def zigzagLevelOrder(self, root: Optional[TreeNode]) -> List[List[int]]:if not root: return []res, deque [], collections.deque()deque.append(root)while deque:tmp []# 打印奇数层for _ in range(len(deque)…

java8以上版本

java9及其以上版本 一、JDK17 LTS 常用新特性1、switch语句的增强2、字符串拼接3、判断类型instanceof自动类型转换4、密封类 关键字 sealed permits5、record类6、优化空指针异常7、ZGC垃圾收集器 一、JDK17 LTS 常用新特性 1、switch语句的增强 在 Java 17中,sw…

全面指南:IP SSL证书的申请与部署步骤

不同于常见的域名型SSL证书,IP SSL证书是专门用于为IP地址提供安全保护的SSL证书类型,适用于那些直接通过IP地址访问的网站或服务。本文将详细介绍IP SSL证书的申请步骤及其部署过程,帮助您轻松实现IP地址的安全加密。 一、了解IP SSL证书 …

CSS Canvas鼠标点击特效之天女散花(文本粒子动画)

1.效果 2.代码 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><style>body,html {margin: 0;padding: 0;w…

Docker HTTPS api V2 Manifest V 2, Schema 2 下的免装docker下载镜像的方法

目录 前言 下载镜像代码 使用方法 原代码中无法适配 Schema 2 的原因浅析 如何解决 相对原代码改动的东西 前言 本文提供代码主要是基于 https://github.com/NotGlop/docker-drag 提供的代码修改的。链接中提供的代码应该是是基于HTTPS api V2 Manifest V 2, Schema 1实…

【算法实战】每日一题:统计一个序列向某个方向的比他小的数的个数(非暴力)

题目 统计一个序列向某个方向的比他小的数的个数 思路 用单调栈&#xff0c;虽然这里说的是统计比他小的&#xff0c;但是是求和&#xff0c;所以我们可以用在用单调栈的时候统计里面所有比他大的元素 这两个级别上是一样的 伪代码 声明变量 n、num 和 sum 为整数。 声明…

实操专区-第15周-课堂练习专区-漏斗图与金字塔图

实操专区-第15周-课堂练习专区-漏斗图 下载安装ECharts&#xff0c;完成如下样式图形。 代码和截图上传 基本要求&#xff1a;下图3选1&#xff0c;完成代码和截图 完成 3.1.3.16 漏斗图中的任务点 基本要求&#xff1a;2个选一个完成&#xff0c;多做1个加2分。 请用班级学号姓…

vue组件的基本使用方法

组件 【1】组件是什么&#xff1f; 组件就是&#xff1a;扩展 HTML 元素&#xff0c;封装可重用的代码&#xff0c;目的是复用例如&#xff1a;有一个轮播图&#xff0c;可以在很多页面中使用&#xff0c;一个轮播有js&#xff0c;css&#xff0c;html组件把js&#xff0c;cs…

使用 Django 连接 MySQL 数据库

文章目录 步骤一&#xff1a;安装必要的库和驱动步骤二&#xff1a;配置数据库连接步骤三&#xff1a;执行数据库迁移步骤四&#xff1a;开始使用 MySQL 数据库创建一个模型迁移模型到数据库使用模型进行数据操作创建新记录&#xff1a;查询记录&#xff1a;更新记录&#xff1…

264 基于matlab的自适应语音盲分离

基于matlab的自适应语音盲分离&#xff0c;当a和b同时对着传声器A,B说话且传声器靠得很近时&#xff0c;传声器A,B会同时接受到a和b的声音&#xff0c;即a和b产生了混叠干扰&#xff0c;此时通过自适应语音盲分离系统可以将a,b的声音分离开&#xff0c;使得一个信道只有一个人的…