Apache DolphinScheduler基本概念
概念:分布式、去中心化、易扩展的可视化DAG工作流任务调度系统。
作用:解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
Apache DolphinScheduler是一款开源的调度工具,使用java语言开发,共分为ApiApplicationServer、MasterServer、WorkerServer、LoggerServer、AlertServer五大模块。DolphinScheduler 组件依赖Zookeeper和HDFS两个大数据组件,其中ZK用于master和worker注册使用,HDFS用于资源文件管理使用。
登录admin账号,创建一个租户,创建一个用户,将用户跟租户关联起来
新建一个告警组,分配给上边新建的用户
登录新建用户
项目管理中新建项目,进入之后进行工作流定义
此处以shell脚本为例:
shell脚本中使用自定义参数
工作流定义好之后便可以上线了,需要再修改的还得先下线
上线之后会生成一个工作流实例,这边便可以看到相关的日志信息了
B站视频,快速上手Apache DolphinScheduler
https://www.bilibili.com/video/BV1dp4y1S7zT/?spm_id_from=333.337.search-card.all.click&vd_source=e093a8beebd274a58351e637a7c32cbb