【任务调度】Apache DolphinScheduler快速入门

news2024/12/23 6:36:29 
Apache DolphinScheduler基本概念
概念：分布式、去中心化、易扩展的可视化DAG工作流任务调度系统。
作用：解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。

架构图

Apache DolphinScheduler是一款开源的调度工具，使用java语言开发，共分为ApiApplicationServer、MasterServer、WorkerServer、LoggerServer、AlertServer五大模块。DolphinScheduler 组件依赖Zookeeper和HDFS两个大数据组件，其中ZK用于master和worker注册使用，HDFS用于资源文件管理使用。
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
登录admin账号，创建一个租户，创建一个用户，将用户跟租户关联起来
在这里插入图片描述
在这里插入图片描述
新建一个告警组，分配给上边新建的用户
在这里插入图片描述
登录新建用户
在这里插入图片描述
项目管理中新建项目，进入之后进行工作流定义
在这里插入图片描述
此处以shell脚本为例:
shell脚本中使用自定义参数
在这里插入图片描述
工作流定义好之后便可以上线了，需要再修改的还得先下线
上线之后会生成一个工作流实例，这边便可以看到相关的日志信息了
在这里插入图片描述

B站视频,快速上手Apache DolphinScheduler
https://www.bilibili.com/video/BV1dp4y1S7zT/?spm_id_from=333.337.search-card.all.click&vd_source=e093a8beebd274a58351e637a7c32cbb

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1606014.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

高仿小米商城用户端

高仿小米商城用户端

高仿小米商城用户端(分为商城前端（tongyimall-vue)和商城后端(tongyimall-api)两部分)，是Vue SpringBoot的前后端分离项目，用户端包括首页门户、商品分类、首页轮播、商品展示、商品推荐、购物车、地址管理、下订单、扫码支付等功能模块。 …
阅读更多...
邮箱群组是什么？怎么创建邮箱群组？

邮箱群组是什么？怎么创建邮箱群组？

在我们群发邮件时，可能会遇到这样的状况，一个个输入邮箱地址效率很低，而且很容易就漏发。而对于一个企业来说，如果出现这样的问题，很有可能会影响公司的业务进展和团队协作。这个时候我们就需要邮箱群组这个功能&#…
阅读更多...
spring cloud介绍

spring cloud介绍

Spring Cloud是一系列框架的集合，它旨在简化构建分布式系统的过程。基于Spring Boot的快速配置和管理，Spring Cloud为微服务架构提供了全面的基础设施支持。它包括但不限于以下组件： 1. **Spring Cloud Discovery** - 服务发现组件&#xff0…
阅读更多...
MySQL行级锁——技术深度+1

MySQL行级锁——技术深度+1

引言 本文是对MySQL行级锁的学习，MySQL一直停留在会用的阶段，需要弄清楚锁和事务的原理并DEBUG查看。 PS:本文涉及到的表结构均可从https://github.com/WeiXiao-Hyy/blog中获取，欢迎Star！ MySQL行级锁 行级锁（Row-…
阅读更多...
并发学习28--多线程 Fork、Join线程池

并发学习28--多线程 Fork、Join线程池

概念 使用 import java.util.concurrent.ForkJoinPool; import java.util.concurrent.RecursiveTask;public class TC51 {public static void main(String[] args) {//递归到最小不可分解单元，再进行计算ForkJoinPool pool new ForkJoinPool(5);pool.invoke(new My…
阅读更多...
短视频素材在哪下载？优质视频素材APP下载

短视频素材在哪下载？优质视频素材APP下载

在这个视频内容日益成为关键传播手段的时代，选择正确的视频素材可以极大地增强你的内容影响力。无论是制作广告、社交媒体内容还是电影制作，高质量的视频素材都是不可或缺的。以下是精心挑选的全球顶级视频素材网站列表，每个网站都能为你的视…
阅读更多...
嵌入式4-18

嵌入式4-18

做一个简单数据库终端操作系统 #include <myhead.h> int main(int argc, const char *argv[]) {int id;char name[16];float score;sqlite3 *pNULL;if(sqlite3_open("./my.db",&p)!SQLITE_OK){printf("sqlite3_open error\n");return -1;} …
阅读更多...
QT Webengine开发过程报错qml: Render process exited with code 159 (killed)

QT Webengine开发过程报错qml: Render process exited with code 159 (killed)

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 前言一、解决方法二、补充说明总结 前言 提示&#xff1a;这里可以添加本文要记录的大概内容&#xff1a; 基于QT的Webengine开发过程中&#xff0c;QT的官方示例…
阅读更多...
C语言进阶课程学习记录-函数指针的阅读

C语言进阶课程学习记录-函数指针的阅读

C语言进阶课程学习记录-函数指针的阅读 5个标识符含义解析技巧 本文学习自狄泰软件学院 唐佐林老师的 C语言进阶课程&#xff0c;图片全部来源于课程PPT&#xff0c;仅用于个人学习记录 5个标识符含义解析 int (*p1) (int* , int (*f) ( int* ) );定义了指针p1,指向函数&#…
阅读更多...
面试题：一个 URL 在浏览器被输入到页面展现的过程中发生了什么

面试题：一个 URL 在浏览器被输入到页面展现的过程中发生了什么

文章目录 前言一、回答二、深入追问 前言 这是一段~ 经典的旋律 ~&#xff0c;不好意思串台了&#xff0c;哈哈&#xff0c;这是一个经典的面试题&#xff1a;一个URL从浏览器到页面的过程中发生了什么&#xff0c;那么今天就带大家九浅一深来研究一下 觉得不错的同学可以加我…
阅读更多...
RocketMQ 02 功能大纲介绍

RocketMQ 02 功能大纲介绍

RocketMQ 02 主流的MQ有很多&#xff0c;比如ActiveMQ、RabbitMQ、RocketMQ、Kafka、ZeroMQ等。 之前阿里巴巴也是使用ActiveMQ&#xff0c;随着业务发展&#xff0c;ActiveMQ IO 模块出现瓶颈&#xff0c;后来阿里巴巴 通过一系列优化但是还是不能很好的解决&#xff0c;之后…
阅读更多...
SAP SD学习笔记06 - 受注的据否，受注的理由，简易变更（一括处理）

SAP SD学习笔记06 - 受注的据否，受注的理由，简易变更（一括处理）

上文讲了一括处理和Block&#xff08;冻结&#xff09;处理。 SAP SD学习笔记05 - SD中的一括处理&#xff08;集中处理&#xff09;&#xff0c;出荷和请求的冻结&#xff08;替代实现承认功能&#xff09;-CSDN博客 本章继续讲SAP的流程中一些常用的操作。 1&#xff0c;受注…
阅读更多...
计算机网络练习-计算机网络体系结构与参考模型

计算机网络练习-计算机网络体系结构与参考模型

计算机网络分层结构 ----------------------------------------------------------------------------------------------------------------------------- 1.在ISO/OSI参考模型中&#xff0c;实现两个相邻结点间流量控制功能的是( )。 A.物理层 B. 数据链路层 C.网络层 D.传…
阅读更多...
Nougat项目学习

Nougat项目学习

简介 论文学习 https://arxiv.org/abs/2308.13418 项目地址 GitHub - facebookresearch/nougat: Implementation of Nougat Neural Optical Understanding for Academic Documents 项目主页 Nougat 这个项目主要是实现将pdf文档图片转换为markdown格式&#xff1b;针对纯英…
阅读更多...
【蓝桥杯2025备赛】素数判断:从O(n^2)到O(n)学习之路

【蓝桥杯2025备赛】素数判断:从O(n^2)到O(n)学习之路

素数判断:从O( n 2 n^2 n2)到O(n)学习之路 背景:每一个初学计算机的人肯定避免不了碰到素数&#xff0c;素数是什么&#xff0c;怎么判断&#xff1f; 素数的概念不难理解:素数即质数&#xff0c;指的是在大于1的自然数中&#xff0c;除了1和它本身不再有其他因数的自然数。 …
阅读更多...
宏集eX700M系列HMI实现港口设备数据上云

宏集eX700M系列HMI实现港口设备数据上云

前言 随着港口设备信息化技术的快速发展&#xff0c;越来越多的企业想要把现场设备数据上传到云平台&#xff0c;进而实现关键数据的远程监控和分析处理。在此背景下&#xff0c;国内某信息化公司想要将港口设备数据通过MQTT上传到该公司自研IOT平台&#xff0c;实现数据上云&…
阅读更多...
我三战华东师范大学的同桌真的很牛

我三战华东师范大学的同桌真的很牛

标题党一下&#xff0c;其实是我的一个关系很好的高中同桌死磕华东师范大学三年&#xff0c;最终第二名上岸的故事。 其实我们是同一届的&#xff0c;我为了早点走选择了个排名还行的双非院校就走了&#xff0c;而我这个同桌相当有毅力&#xff0c;他能坚持这么久我其实很佩服&…
阅读更多...
C++类和对象 中（六大默认成员函数）

C++类和对象 中（六大默认成员函数）

前言 紧接着上一篇文章&#xff0c;接下来我们来认识下类的六大默认成员函数&#xff0c;如下图。之所以叫他默认成员函数&#xff0c;是因为即使我们不写&#xff0c;编译器会默认帮我们写&#xff0c;但只要我们自己显示的写了&#xff0c;编译器就不会帮我们生成对应的成员函…
阅读更多...
基于小程序实现的精准扶贫数据收集系统

基于小程序实现的精准扶贫数据收集系统

作者主页&#xff1a;Java码库 主营内容&#xff1a;SpringBoot、Vue、SSM、HLMT、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、小程序、安卓app等设计与开发。 收藏点赞不迷路 关注作者有好处 文末获取源码 技术选型 【后端】&#xff1a;Java 【框架】&#xff1a;ssm 【…
阅读更多...
Canal 同步mysql 到es 日期格式报错解决

Canal 同步mysql 到es 日期格式报错解决

第一步&#xff1a;下载源码alibaba/canal: 阿里巴巴 MySQL binlog 增量订阅&消费组件 (github.com) 第二步&#xff1a;编辑源码&#xff08;client-adapter下面的clinet-adapter.escore)&#xff1a; com.alibaba.otter.canal.client.adapter.es.core.support.ESSyncUt…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023