dolphinscheduler的switch组件

news2024/11/15 19:37:41

目录

一、背景

switch组件官方文档

Switch简介 

创建任务

任务参数

二、实操DEMO

SQL任务switch判断DEMO

第一步:新建SQL任务,配置好参数

第二步: 定义SWITCH节点

三、参考资料

默认任务参数


一、背景

Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。

switch组件官方文档

https://dolphinscheduler.apache.org/zh-cn/docs/2.0.6/user_doc/guide/task/switch.html

Switch简介 

Switch 是一个条件判断节点,依据全局变量的值和用户所编写的表达式判断结果执行对应分支。 注意使用 javax.script.ScriptEngine.eval 执行表达式。

创建任务

点击项目管理 -> 项目名称 -> 工作流定义,点击"创建工作流"按钮,进入 DAG 编辑页面。 拖动工具栏中的 

 任务节点到画板中即能完成任务创建。 注意 switch 任务创建后,要先配置上下游,才能配置任务分支的参数。

任务参数

  • 节点名称:一个工作流定义中的节点名称是唯一的。
  • 运行标志:标识这个节点是否能正常调度,如果不需要执行,可以打开禁止执行开关。
  • 描述信息:描述该节点的功能。
  • 任务优先级:worker 线程数不足时,根据优先级从高到低依次执行,优先级一样时根据先进先出原则执行。
  • Worker 分组:任务分配给 worker 组的机器机执行,选择 Default,会随机选择一台 worker 机执行。
  • 环境名称:安全中心中配置的环境,不配置则不使用。
  • 任务组名称:资源中心中配置的任务组,不配置则不使用。
  • 失败重试次数:任务失败重新提交的次数,支持下拉和手填。
  • 失败重试间隔:任务失败重新提交任务的时间间隔,支持下拉和手填。
  • 延时执行时间:任务延迟执行的时间。
  • 超时告警:勾选超时告警、超时失败,当任务超过"超时时长"后,会发送告警邮件并且任务执行失败。
  • 条件:可以为 switch 任务配置多个条件,当条件满足时,就会执行指定的分支,可以配置多个不同的条件来满足不同的业务,使用字符串判断时需要使用""。
  • 分支流转:默认的流转内容,当条件中的内容为全部不符合要求时,则运行分支流转中指定的分支。

 

二、实操DEMO

SQL任务switch判断DEMO

第一步:新建SQL任务,配置好参数

字段名称和输出参数需要保持一致,涉及到别名通过as匹配;

参数要设置成OUT类型。

 

第二步: 定义SWITCH节点

需要先配置前置任务;

才能在条件中引用上游传递过来的参数值;

配置好跟下游任务的依赖关系,符合条件的分支流转才能选到下游任务。

 

 

三、参考资料

DolphinScheduler任务参数附录 

DolphinScheduler任务插件有一些公共参数,我们将这些公共参数列在文档中供您查阅。每种任务都有如下的所有或者部分默认参数:

默认任务参数

任务参数描述
任务名称任务的名称,同一个工作流定义中的节点名称不能重复。
运行标志标识这个节点是否需要调度执行,如果不需要执行,可以打开禁止执行开关。
描述当前节点的功能描述。
任务优先级worker线程数不足时,根据优先级从高到低依次执行任务,优先级一样时根据先到先得原则执行。
Worker分组设置分组后,任务会被分配给worker组的机器机执行。若选择Default,则会随机选择一个worker执行。
任务组名称任务资源组,未配置则不生效。
组内优先级一个任务组内此任务的优先级。
环境名称配置任务执行的环境。
失败重试次数任务失败重新提交的次数,可以在下拉菜单中选择或者手动填充。
失败重试间隔任务失败重新提交任务的时间间隔,可以在下拉菜单中选择或者手动填充。
CPU 配额为执行的任务分配指定的CPU时间配额,单位为百分比,默认-1代表不限制,例如1个核心的CPU满载是100%,16个核心的是1600%。 task.resource.limit.state
最大内存为执行的任务分配指定的内存大小,超过会触发OOM被Kill同时不会进行自动重试,单位MB,默认-1代表不限制。该功能由 task.resource.limit.state 控制。
超时告警设置超时告警、超时失败。当任务超过"超时时长"后,会发送告警邮件并且任务执行失败。该功能由 task.resource.limit.state 控制。
资源任务执行时所需资源文件
前置任务设置当前任务的前置(上游)任务。
延时执行时间任务延迟执行的时间,以分为单位

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/713289.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

B站广告投放,B站有哪些投放广告的方式比较靠谱?

随着各视频平台发展,B站也逐渐壮大,成为当下最受年轻人喜爱的社交媒体平台之一,B站根据年轻人的喜好提供了多样化的产品和服务,如视频、直播、游戏、漫画、影业、演出活动、专栏等。形成了自己独特的up主文化。B站拥有着高黏性和高…

如何保证消息的可靠性传输?或者说,如何处理消息丢失的问题?

这个是肯定的,用 MQ 有个基本原则,就是数据不能多一条,也不能少一条,不能多,就是 前面说的重复消费和幂等性问题。不能少,就是说这数据别搞丢了。那这个问题你必须得考 虑一下。 如果说你这个是用 MQ 来传…

基于单片机心率脉搏心率血压体温血氧检测系统的设计与实现

功能介绍 本次设计通过32系列单片机STM32进行数据处理,配置引脚和JFC103传感器以及温度传感器进行数据通信。采用防水DS18B20进行腋下温度采集,通过单总线方式进行数据传输。心率血氧血压模块通过串口通信方式把采集到的数据发送给单片机,所有…

mac版本的xshell远程ssh工具

官网下载地址: https://www.royalapps.com/ts/win/download 注意:一定要保存(下载安装之后记得一定要点击:Apply & Close,保存设置) 使用

Transactional outbox pattern

文章目录 Transactional outbox pattern事件驱动架构(Event Driven Architecture, EDA)数据库事务和消息发布的一致性问题Transactional outbox如何解决数据事务和消息发布之间的一致性问题如何实现Transactional outbox pattern消息幂等性问题Transactional outbox pattern能保…

百万连接实现01:使用epoll+多线程+多IP地址管理tcp客户端集群

操作系统采用 <客户端IP : 客户端端口> : <服务端IP : 服务端端口> 四元组来标识一条TCP连接。 所以要想实现百万连接&#xff1a; 第一种是服务器端只开启一个进程&#xff0c;然后使用很多个客户端进程绑定不同的客户端 ip 来连接&#xff0c;假设 20个ip * 5w&a…

linux使用grep命令查询nginx的进程情况时总是出现 grep --color=auto nginx

问题&#xff1a; 每次使用ps aux | grep 服务名 命令查询某个服务的进程时&#xff0c;总会出现一条grep --colorauto 服务名 例如&#xff1a; ps aux | grep nginx # 会出现图片中的情况解答&#xff1a; 这是因为grep 也是一条命令&#xff0c;它在输出时&#xff0c;会…

《谈事说理》之《“脱节”的顶层设计》续集

欢迎收看本期《谈事说理》之《“脱节”的顶层设计》续集。当事人再次来到节目现场&#xff0c;为我们讲述近期事件的新发展。他与父母苦心经营的企业是否出现转机&#xff1f;我们一起来听听他的故事。 回忆事件经过&#xff0c;他的企业遭遇灭顶 当事人季博文&#xff08;化名…

Express-基础语法

介绍 Express是基于Node.js开发的第三方模块包&#xff0c;使用 Express&#xff0c;我们可以方便、快速的创建 Web 网站的服务器或 API 接口的服务器 参考 https://www.expressjs.com.cn/ 基本用法 安装 npm install express4.17.1 后面追加版本号&#xff0c;不写安装最新…

Docker 安装 MySQL 并使用 Navicat 连接

本文目录 1. 拉取 MySQL 镜像2. 创建并运行一个 MySQL 容器3. 验证MySQL容器是否创建并运行成功3.1 进入 MySQL 容器3.2 进入 MySQL3.3 查看 host 和 user 4. MySQL 开启远程访问权限4.1 切换数据库4.2 给 root 用户分配远程访问权限4.3 强制刷新权限 5. 服务器配置 3306 的开放…

iOS开发中的APP内活动之通用链接

首先&#xff0c;我们先来了解下APP内活动&#xff0c;这是苹果官方给的说明&#xff1a;https://developer.apple.com/cn/help/app-store-connect/offer-in-app-events/overview-of-in-app-events简单来说&#xff0c;就是我们在苹果后台开发者后台里填写关于自己APP内的一些具…

《MySQL》对表进行操作(DDL语句)

文章目录 &#x1f4a1;创建表&#x1f4a1;修改表&#x1f4a1;删除表 在了解下列语句前&#xff0c;先掌握一下指令 # 查看表内容 desc [表名] # 详细查看表内容 show create table [表名] \G&#x1f4a1;创建表 # 创建表 create table [表名] ([字段1] [类型1],[字段2] […

嵌入式 - UART使用进阶

UART – Advanced Features 概要 / Overview 最简单直接的使用UART接口的方式&#xff0c;是在轮循操作中来设置和处理UART接口。 轮询式UART的问题是轮询方式本身就是低效率的。 如果我们的UART被配置为115200的波特率和8N1&#xff0c;那么传输一个字符需要多长时间&#xff…

一款支持AI思维导图的AI助手——ChatMindAI

写在前面 Hello大家好&#xff0c; 我是【麟-小白】&#xff0c;一位软件工程专业的学生&#xff0c;喜好计算机知识。希望大家能够一起学习进步呀&#xff01;本人是一名在读大学生&#xff0c;专业水平有限&#xff0c;如发现错误或不足之处&#xff0c;请多多指正&#xff0…

“智慧水利”怎么建?这份智慧水利整体解决方案 值得参?

2021年&#xff0c;补齐水利信息化突出短板&#xff0c;提升强监管支撑能力。 2025 年&#xff0c;全面提升水利数字化、网络化水平&#xff0c;明显提升重点领域智能化水平。 2035 年&#xff0c;全面支撑水治理体系和治理能力现代化。 构建天空地一体化水利感知网&#xf…

python怎么使用Pillow库来添加图片水印

当使用Pillow库来添加图片水印时&#xff0c;下面是一个示例代码&#xff1a; 请确保在运行示例代码之前&#xff0c;已经安装了Pillow库&#xff08;可以使用pip install pillow命令进行安装&#xff09;。示例代码中&#xff0c;打开原始图片、创建透明的水印图层、绘制水印文…

计模式篇(Java):桥接模式

上一篇&#xff1a;计模式篇(Java)&#xff1a;适配器模式 九、桥接模式 需求示例 当我们对不同手机类型的不同品牌实现操作编程&#xff0c;如图&#xff1a; 那么它对应的类图就是 传统方式解决需求分析&#xff1a; 扩展性问题&#xff0c;如果需要在增加手机的样式&#x…

什么是业务逻辑攻击 (BLA),大家为什么一定要要关注它?

想象一下&#xff1a;您的开发团队刚推出了一款令人惊叹的全新应用程序&#xff0c;它具有顶级的API安全性&#xff0c;通过客户端保护对其进行了强化&#xff0c;甚至还设置了针对机器人攻击的防御措施。你感到这款产品很有安全保障&#xff0c;自己的团队出色地完成了工作。 …

SAP从入门到放弃系列之生产执行-领用与消耗概述

文章目录导航 一、生产物资领用1.1、概述1.2、项目中自开发领料功能方式一&#xff1a;创建预留的方式方式二&#xff1a;创建UB订单方式 二、生产投料 一、生产物资领用 1.1、概述 生产的备料方式因为企业的行业特点以及企业对材料库存管理的流程设置&#xff0c;企业使用的…