【第六期】Apache DolphinScheduler 每周 FAQ 集锦

news2025/2/27 23:58:20

点击蓝字 关注我们

a96be1f01a7f860beaa381786a5b51ec.png

摘要

为了让 Apache DolphinScheduler 的广大用户和爱好者对于此项目的疑问得到及时快速的解答,社区特发起此次【每周 FAQ】栏目,希望可以解决大家的实际问题。

关于本栏目的要点:

  1. 本栏目每周将通过腾讯文档(每周更新)从社区微信群收集 10-30 个问答,并在每周五整理具有典型代表意义的问答后发布,供大家参考。

  2. 所有人均可登录文档并提出问题,每人限 2 个提问,提问范围包括:

    1. 关于 Apache DolphinScheduler 的使用问题和技术性问题;

    2. 在实际应用中遇到的瓶颈问题;

    3. 参与社区贡献遇到的困难;

    4. 关于社区发展的疑问。

  3. 资源有限,请勿提问项目无关问题。

  4. 【每周FAQ】是一个社区互助的项目,发起宗旨是鼓励社区成员相互帮助,因此,欢迎大家积极踊跃志愿回答提出的疑问,在腾讯文档中写下答案即可。(高手们都别“潜水”了,出来露一手😜😎)

  5. 在社群里已经提问的问题,请勿在文档中重复提问,节约资源。

  6. 本栏目招募志愿者,有兴趣参与的小伙伴请加微信小助手 Leonard ds 报名。

5月6日-5月12日

哪个版本支持跨用户依赖任务?就是a用户任务依赖b和d用户创建的多个任务。    

3.1.5版本支持,参考https://dolphinscheduler.apache.org/zh-cn/docs/3.1.5/guide/task/dependent。    

DolphinScheduler生产环境用什么版本?  

最新 3.1.5 版本欢迎你,如果你还在调研没有正式使用的话,一周后的 3.1.6 也是不错的选择。  

3.0.0 版本上传jar包超大失败如何解决?  

需要前端增加超时 https://github.com/apache/dolphinscheduler

/issues/14027。  

DolphinScheduler目前是否支持工作流的血缘分析?    

看看项目管理 - 工作流关系是否是想要的功能。   

DolphinScheduler 3.1.5版本,Spark节点,Spark-sql任务可以执行资源文件中的SQL吗?    

目前不支持。    

子流程传递参数这个功能有人在做了么?  

有一个开源之夏的课题,欢迎认领:Apache DolphinScheduler 开源之夏学生项目申请开启,6 大课题等你来拿万元奖金!

不小心把zk删了,怎么办?    

重新让海豚注册一遍就OK了。    

有不少任务,依赖检查失败了,但是整体状态还是running,似乎后面的子节点一直在等待前面的调度成功了再运行。   

2.0.5之后的版本修复了这个问题。    

DolphinScheduler 1升级到3.1.5后,授权信息需要重新再执行一遍。    

应该是有部分不兼容的更新了。    

DolphinScheduler 3.1.5版本没有了loggerserver,调度执行的py文件内部执行异常日志没有打印到页面,原来的1版本可以打印py执行脚本日志信息。    

logserver 集成到wroker和master了,可以看对应的日志。    

DolphinScheduler 3.1.5版本工作流定时调度管理上线后,不会自动排序展示到第一个,不方便开发。    

是按照工作流更新时间展示的。    

DolphinScheduler 3.1.3版本新建sql任务,手动执行该任务,工作流实例一直运行状态,该任务实例一直处于派发状态(该问题怎样排错?)    

看看master 的日志,会有具体的报错信息的。   

3.1.6版本大概什么时候发版?    

本周在走发版流程。    

DolphinScheduler流里面的节点可以复制到其他流里面吗?   

不支持任务复制,但是可以复制工作流后删除不必要的任务。    

DolphinScheduler集群在安装时,只在本机创建了不存在的文件夹,另外两台机器上没有自动创建安装文件夹,这个问题什么原因?   

  1. 查看SSH免密是否可以使用

  2. 查看文件夹权限或者路径是否正确。    

海豚的项目可以复制吗?同一个集群,不同的项目。    

可以导出,全选进行导出即可。    

为什么worker跑着跑着就挂了?    

看 worker 运行日志,正常不会挂。   

3.1.5版本中支持stream任务么?    

支持,任务定义-实时任务。    

目前3.1.5这个版本里面能否配置任务与任务之间的弱依赖关系?    

看看 subprocess 或者 dependent 这两个任务是否满足你的需求。      

DolphinScheduler任务处于派发状态,怎么样才能继续执行?    

重启master。   

DolphinScheduler能集成到TiDB数据库,实现对TiDB数据库的调度吗? 

元数据库是支持 TiDB 的,如果想说数据源的话,可以用 MySQL 协议。  

< 🐬🐬 >

往期回顾

☞【每周 FAQ】第二期 | 回答你关于 Apache DolphinScheduler 的疑问

☞【每周 FAQ】第一期 | 回答你关于 Apache DolphinScheduler 的疑问

☞【第三期】Apache DolphinScheduler 每周 FAQ 集锦

☞【第四期】Apache DolphinScheduler 每周 FAQ 集锦

☞【第五期】Apache DolphinScheduler 每周 FAQ 集锦

< 🐬🐬 >

精彩活动推荐

汽车行业走在了数字化革命浪潮的前列。大数据和 AI 技术的日益成熟,让汽车行业面对着动辄上百万的日活数据,二调度系统助力汽车数字化平台数据调度重塑着未来汽车的面貌,其重要作用不言而喻。

Apache DolphinScheduler 作为国内外多家知名车企数据平台的核心调度系统,它是如何帮助车企迎接数字化时代新挑战的?如何辅助重塑未来汽车的新面貌?欢迎大家关注即将到来的 Apache DolphinScheduler 汽车行业最佳应用实践专场直播

直播时间:2023 年 5 月 23 日 19:00-21:00

预约方式:点击预约,视频号直播不见不散!

参与贡献

随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。

08c499b5e372f3ff041574c02ba9a36e.png

参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:

9db7f0c23b42559b4fa3121c9fa025a6.png

贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。

社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689

非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22

如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html

来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。

参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。

e6c6940c54070e86da1b7a6ebf2eb465.jpeg

添加社区小助手微信(Leonard-ds) 

添加小助手微信时请说明想参与贡献。

来吧,开源社区非常期待您的参与。

点击阅读原文,点亮Star支持我们哟7fd4d99be92c8ec971fad4b5c3642251.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/520400.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

用排列组合来编码通信(六)——魔术《5张牌的预言》的魔术拓展之《My Fitch Four Glory》...

早点关注我&#xff0c;精彩不错过&#xff01; 在上一篇中&#xff0c;我们介绍了《5张牌的预言》这个魔术的一个精彩的扩展表演《Eigens Value》&#xff0c;把这个魔术和数学性质的结合做到了极致&#xff0c;相关内容请戳&#xff1a; 用排列组合来编码通信&#xff08;五&…

第二十二章 Unity 光照贴图

光照贴图过程将预先计算场景中静态物体表面的亮度&#xff0c;并将结果存储在称为“光照贴图”的纹理中供以后使用。光照贴图可以包含直接光照和间接光照&#xff0c;以及阴影效果。但是&#xff0c;烘焙到光照贴图中的数据无法在运行时更改&#xff0c;这就是为什么移动静态物…

Angular开发之——Angular介绍(01)

一 概述 Angular是什么AngularJS和Angular关系Angular特性Angular的发展历史Angular学习建议 二 Angular是什么 Angular(读音[ˈŋɡjələr])是一套用于构建用户界面的javaScript框架。由Google开发和维护&#xff0c;主要被用来开发单页面应用程序类似于Vue.js(MVVM数据驱动…

视觉检测技术在图书生产缺陷控制中的应用

在过去我们一直向大家展示的是视觉检测应用在重工业制造之上&#xff0c;让很多人误以为这种新兴的检测技术更加倾向于重工业&#xff0c;或者说因为成本因素&#xff0c;这项技术对目前的轻工业来说更加的不友好&#xff0c;其实并不是这样的。 轻工业我们之所以很少的提机器…

docker入门和docker应用场景,镜像制作,服务编排,docker私服

一、简介 docker解决了什么问题docker和虚拟机的区别在CentOS7里安装docker 1. docker简介 我们写的代码会接触到好几个环境&#xff1a;开发环境、测试环境以及生产环境等等。多种环境去部署同一份代码&#xff0c;由于环境原因往往会出现软件跨环境迁移的问题&#xff08;也就…

黏包和半包

黏包和半包 黏包&#xff1a; Slf4j public class HelloWorldServer {public static void main(String[] args) {NioEventLoopGroup boss new NioEventLoopGroup();NioEventLoopGroup worker new NioEventLoopGroup();try {ServerBootstrap serverBootstrap new ServerBoo…

open3d教程(二):可视化三维模型,并转换成点云(Python版本)

1、三维模型获取 可以自己用建模软件建立一个模型从free3d免费下载 2、关键函数 open3d.visualization.draw_geometries 参数&#xff1a; geometry_list(List[open3d.geometry.Geometry])&#xff1a;要可视化的几何体列表.window_name(str, optional, defaultOpen3D)&…

Linux环境下编程遇到“fatal error:stdio.h:没有那个文件或目录”错误解决办法

我是荔园微风&#xff0c;作为一名在IT界整整25年的老兵&#xff0c;今天总结一下linux环境下如何解决一个常见的问题&#xff0c;也就是“fatal error:stdio.h:没有那个文件或目录”错误。 不少初学者在linux环境下用gcc编译C语言时&#xff0c;经常会遇到这个问题。 比如当…

工具推荐二

&#xff08;点击上方公众号&#xff0c;可快速关注&#xff09; GUI框架 我是个后端程序员&#xff0c;使用GUI框架的机会很少&#xff0c;主要用来编写个人或工作中的一些小工具上&#xff0c;经验有限&#xff0c;仅供参考。 Tk框架这个框架tcl语言自带&#xff0c;在python…

海报图片生成服务在狐友的落地实践

本文字数&#xff1a;22817字 预计阅读时间&#xff1a;58分钟 项目背景 狐友作为搜狐的一款社交产品&#xff0c;在流量传播上有着旺盛的需求点。而在流量传播所需的众多载体之中&#xff0c;海报图片以其简单的分享形式、可定制的视觉体验、自带二维码识别导流等特点&#xf…

入门与 Follow GPT 的路径分析:LLM 道阻且长,行则将至

动手点关注 干货不迷路 本文只用于技术交流&#xff0c;仅代表作者个人观点。 作为 CEO&#xff0c;Sam 将 OpenAI 的内部氛围组织的很好&#xff0c;有位 OpenAI 的前员工告诉拾象团队&#xff0c;当 2018 年 GPT-2 的论文被驳回时&#xff0c;Sam 在团队周会上将拒信的内容朗…

ONES X 高测股份|用数字化,重构新材料企业的研发管理体系

近日&#xff0c;ONES 签约高硬材料切割的领军企业——高测股份&#xff0c;助力高测股份建立有效、规范的研发测试管理体系&#xff0c;实现项目管理、测试管理、知识库管理、工时管理、组织效能管理等端到端的研发管理&#xff0c;提升测试效率和产品交付质量&#xff0c;并进…

用Python+OpenCV+Yolov5+PyTorch开发的车牌识别软件(包含训练数据)

目录 演示视频 软件使用说明 软件设计思路 演示视频 这是一个可以实时识别车牌的软件&#xff0c;支持图片和视频识别&#xff0c;以下是软件的演示视频。 车牌识别软件 点击查看代码购买地址 软件使用说明 1. 下载源码后&#xff0c;首先安装依赖库。项目所用到的依赖库已…

bash shell 基础命令

章节目录&#xff1a; 一、浏览文件系统1.1 Linux 文件系统1.2 遍历目录 二、列出文件和目录三、处理文件3.1 创建文件3.2 复制文件3.3 命令行补全3.4 链接文件3.5 文件重命名3.6 删除文件 四、管理目录4.1 创建目录4.2 删除目录 五、查看文件内容5.1 查看文件类型5.2 查看整个…

【Linux】Linux编辑神器vim的使用

目录 一、Vim的基本概念 二、Vim的基本操作 1、进入vim 2、正常模式切换至插入模式 3、插入模式切换至正常模式 4、正常模式切换至底行模式 5、退出Vim编辑器 三、Vim正常模式命令集 1、移动光标 2、删除文字 3、复制 4、替换 5、撤销 四、Vim底行模式命令集 1、列出行号 2、光…

【Linux】进程信号捕捉

前言 在【Linux】进程信号及信号产生中&#xff0c;我们提到&#xff0c;进程接收到信号&#xff0c;并不是立刻处理&#xff0c;而是在合适的时候才执行相应的动作&#xff0c;那合适的时候是什么时候呢&#xff0c;进程捕捉信号的过程究竟是怎么样的呢&#xff1f;本篇博客就…

Python入门(七)if语句(二)

if语句&#xff08;二&#xff09; 1.if语句1.1 简单的if语句1.2 if-else语句1.3 if-elif-else结构1.4 使用多个elif代码块1.5 使用多个elif代码块 2.使用if语句处理列表2.1 检查特殊元素2.2 确定列表不是空的2.3 使用多个列表 作者&#xff1a;xiou 1.if语句 前面我们理解了…

React Native技术探究:开发高质量的跨平台移动应用的秘诀

作为一个跨平台移动应用开发框架&#xff0c;React Native在开发过程中能够有效提高开发效率、降低开发成本、缩短上线时间&#xff0c;因此备受开发者的欢迎。然而&#xff0c;如何使用React Native开发出高质量的跨平台移动应用呢&#xff1f;本文将探究这个问题&#xff0c;…

(一)PUN 2基本介绍

一、开始 (一)基本简介 1.简介 Photon Unity Networking (PUN) 是一个用于多人游戏的 Unity 包。灵活的配对让您的玩家进入可以通过网络同步对象的房间。 RPC、自定义属性或“低级别”光子事件只是其中的一些功能。快速且&#xff08;可选&#xff09;可靠的通信是通过专用的…

选卡攻略!一分钟教你选择一款好的流量卡!

很多流量卡看似便宜&#xff0c;但用起来套路不少&#xff0c;所以&#xff0c;挑选一款流量卡并不是只看资费&#xff0c;而且要了解它的各个方面&#xff0c;比如&#xff1a;优惠期、合约期等等&#xff0c;今面&#xff0c;小编就带大家一块了解如何选择一款好的流量卡。 …