【第十期】Apache DolphinScheduler 每周 FAQ 集锦

news2024/11/25 12:45:49

点击蓝字关注我们

摘要

为了让 Apache DolphinScheduler 的广大用户和爱好者对于此项目的疑问得到及时快速的解答，社区特发起此次【每周 FAQ】栏目，希望可以解决大家的实际问题。

关于本栏目的要点：

本栏目每周将通过腾讯文档（每周更新）从社区微信群收集 10-30 个问答，并在每周五整理具有典型代表意义的问答后发布，供大家参考。
所有人均可登录文档并提出问题，每人限 2 个提问，提问范围包括：
1. 关于 Apache DolphinScheduler 的使用问题和技术性问题；
2. 在实际应用中遇到的瓶颈问题；
3. 参与社区贡献遇到的困难；
4. 关于社区发展的疑问。
资源有限，请勿提问项目无关问题。
【每周FAQ】是一个社区互助的项目，发起宗旨是鼓励社区成员相互帮助，因此，欢迎大家积极踊跃志愿回答提出的疑问，在腾讯文档中写下答案即可。（高手们都别“潜水”了，出来露一手😜😎）
在社群里已经提问的问题，请勿在文档中重复提问，节约资源。
本栏目招募志愿者，有兴趣参与的小伙伴请加微信小助手 Leonard ds 报名。

6月3日-6月9日

问

我们公司用的bigtop 集成的zk版本低于DolphinScheduler 3.1.0要求的zk版本3.8.0，DolphinScheduler可以依赖更换低版本zk吗？

答

需要自己拉GitHub对应的tag，

然后自行编译，相关可见 https://github.

com/apache/dolphinscheduler

/blob/dev/CONTRIBUTING.

md#build-with-different-z

ookeeper-versions

问

DolphinScheduler是通过Yarn的接口读到Spark的日志的，Yarn日志被聚合了能查到么？

答

和你用 cli 调用是一样的，如果你 cli 没有的话这个也是没有的。

问

3.1.1版本Spark3.3.0,测试数据质量，开始报错"Exception in thread "main" org.apache.spark.SparkException: No main class set in JAR; please specify one with --class. "

答

请确保你的libs 中已经有我们数据质量的包，否则会报错 https://github.com/apache/dolphin

scheduler/blob/7ee66f2d029b8d

0d860b59d5dfe1e8224ccf6b44/

dolphinscheduler-common/src/

main/resources/common.proper

ties#L106

问

DolphinScheduler 3.1.2版本里面我们该如何对任务做备份工作？或者说如何保障我们的结点故障的同时，任务不会找不回来呢？

答

可以找回，都会持久化到db，只要任务是幂等可以被重复运行即可。

问

DolphinScheduler 3.1.7 集成SeaTunnel，配置MySQL CDC 实时同步，任务开启后，怎么停止这个任务？目前点击工作流实例中的停止按钮后，SeaTunnel中的实时同步任务仍然在执行中。

答

目前SeaTunnel的kill 是 soft kill，可能需要定制一个force kill 方式。

问

3.1.3 版本任务执行成功后查看任务实例日志时，日志一直在加载，并Roll view log error：connection to :Host{address=''，ip='',port=} fail一直加载中，这是什么原因，如何解决？

答

这个时候是任务没有被运行，可以查看 master 日志应该报错了。

问

${setValue(output=${datetime)} ，${datetime)为自定义参数，类型为in，${output)为自定义参数，类型为out，向后传递，为什么output打印为空？这种参数之间相互赋值支持吗？还是参数赋值只能赋值常量？

答

请确保你的 datetime 变量是有值的。

问

PyDolphinScheduler 使用资源插件时resource_plugin=GitLab(prefix=”xxx”, username=”username”, password=”pwd”)；一直提示PyResPluginException: Incomplete path.；有没有使用gitlab插件的样例文件？使用github也是一样，只有local才正常。

答

请确保你的 prefix 开头是 http url 形式的，

另外可以参考

https://github.com/apache/dolphins

cheduler-sdk-python/blob/05f87a9

9b1e007733ee83cf71d8768e404cf

ee9e/tests/resources_plugin/test_

gitlab.py#L63

参与贡献

随着国内开源的迅猛崛起，Apache DolphinScheduler 社区迎来蓬勃发展，为了做更好用、易用的调度，真诚欢迎热爱开源的伙伴加入到开源社区中来，为中国开源崛起献上一份自己的力量，让本土开源走向全球。