如何在Windows上搭建并运行DolphinScheduler前后端开发环境

news2024/11/24 14:59:48

作者:海豚调度研究随笔 编辑整理:曾辉

前言

Apache DolphinScheduler 是一个优秀的分布式调度系统,广泛应用于大数据处理和自动化任务管理中。本文详细介绍了如何在Windows环境下搭建Apache DolphinScheduler的前后端开发环境。

包括从源码的下载、环境配置、数据库初始化、依赖安装等具体步骤,帮助开发者在本地快速搭建并运行DolphinScheduler,适用于新手开发者和有一定经验的技术人员。

相关链接

  • Apache DolphinScheduler官网:https://dolphinscheduler.apache.org/zh-cn
  • Apache DolphinScheduler源码仓库:https://github.com/apache/dolphinscheduler/

一、环境准备

1. 下载源码

首先,前往 DolphinScheduler官网 下载 dolphinscheduler-3.1.9-release.zip 源码压缩包,并将其移动到你的IDEA工作目录中。接着,使用IDEA工具解压并打开该项目。你将看到如下界面:

2. 修改IDEA项目配置

找到 .idea 文件夹下的 workspace.xml 文件,打开并进行如下修改:

<component name="PropertiesComponent"> 下增加一行<property name="dynamic.classpath" value="true"

打开dolphinscheduler-bom模块的pom文件,将MySQL和Oracle的依赖中的<scope>test</scope>注释掉,右上角的Maven要记得点击进行更新。

这将动态调整项目的类路径配置,确保IDEA能够正常加载所需的依赖包。

二、数据库配置

创建DolphinScheduler数据库

在MySQL中创建 dolphinscheduler 数据库,并执行提供的SQL脚本进行数据库初始化。

配置 application.yaml

打开 dolphinscheduler-api 模块的 application.yaml 文件,修改以下配置:

  • 时区(time-zone):根据需要调整。
  • MySQL 连接信息:填写数据库连接的URL、用户名和密码。
  • Zookeeper配置:根据你的Zookeeper集群配置进行调整。

如果IDEA提示缺少MySQL JDBC驱动,可以点击红灯泡提示进行自动加载。

确认Quartz调度的JDBC Delegate类为 org.quartz.impl.jdbcjobstore.StdJDBCDelegate

本地Zookeeper配置

如果Zookeeper在本地运行且已正确安装,则无需修改Zookeeper相关配置。否则,需要根据你的Zookeeper集群环境进行调整。

三、模块配置

配置 dolphinscheduler-master 模块

dolphinscheduler-master 模块中,打开 application.yaml 文件,确保MySQL、Zookeeper的相关参数配置正确,并根据你的需求调整时区配置。

配置 dolphinscheduler-worker 模块

类似于 Master 模块,在 dolphinscheduler-worker 模块的 application.yaml 中,同样需要更新MySQL、Zookeeper和时区等相关配置。

配置 dolphinscheduler-alert 模块

打开 dolphinscheduler-alert 模块的 application.yaml 文件,修改MySQL的连接信息和时区配置,确保警报模块能够正确连接到数据库。

修改 dolphinscheduler-ui 模块的 package.json 为了避免版本冲突,打开 dolphinscheduler-ui 模块的 package.json 文件,去除所有 ^ 符号。

四、启动后端服务

确保你的MySQL数据库和Zookeeper集群已正常启动,依次启动以下后端服务:

  • ApiApplicationServer
  • MasterServer
  • WorkerServer
  • AlertServer

启动成功后,打开浏览器访问API服务的Swagger文档,确认服务是否正常运行:http://localhost:12345/dolphinscheduler/swagger-ui/index.html#/

五、搭建前端开发环境

  1. 安装Node.js和Pnpm Apache DolphinScheduler的前端依赖于Node.js和Pnpm。

请根据以下链接下载并安装:

  • Node.js (v16.13+):https://nodejs.org/en/download
  • Pnpm (v6.x):https://pnpm.io/installation

  1. 安装前端依赖并启动 进入 dolphinscheduler-ui 目录,进入cmd命令行窗口后运行pnpm install,安装后会在目录下生成node_modules目录,然后运行pnpm run dev即可。

在浏览器中访问http://localhost:5173,使用默认账号密码 admin/dolphinscheduler123 登录系统,开始使用Apache DolphinScheduler。

结语

通过本教程,你已经成功在Windows系统上搭建并运行了DolphinScheduler的前后端开发环境。这为开发者提供了一个完整的本地开发调试环境,使得对DolphinScheduler的进一步开发和测试更加高效。

希望本文能够帮助你顺利搭建环境,并推动你在DolphinScheduler开发上的进展。如果遇到问题,欢迎参考官方文档或社区支持。

本文由 白鲸开源科技 提供发布支持!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2125011.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

PowerShell收集信息及绕过PowerShell权限

PowerShell脚本的4种执行权限&#xff1a; Restricted&#xff1a;默认设置&#xff0c;不允许任何script运行 AllSigned&#xff1a;只能运行经过数字证书签名的script RemoteSigned&#xff1a;本地脚本不做限制&#xff0c;网络上下载的script就必须有数字签名 Unrestri…

语言模型与人类反馈的深度融合:Chain of Hindsight技术

人工智能咨询培训老师叶梓 转载标明出处 语言模型在理解和执行指令方面取得了显著成功&#xff0c;但依赖人工标注数据的监督式微调需要大量标记数据&#xff0c;这不仅成本高昂&#xff0c;而且可能限制了模型识别和纠正负面属性或错误能力。另一方面&#xff0c;基于人类反馈…

在职研生活学习--20240908

文章目录 九月八日清晨&#xff0c;我们在鸟鸣声中醒来&#xff0c;精神饱满地迎接大汇演的挑战。上午&#xff0c;我们被分成舞龙队、旗手队、拳队、鼓队四个特色团队进行练习。阳光下&#xff0c;我们挥汗如雨&#xff0c;却乐此不疲。鼓声隆隆&#xff0c;龙舞飞扬&#xff…

使用ESP8266和OLED屏幕实现一个小型电脑性能监控

前言 最近大扫除&#xff0c;发现自己还有几个ESP8266MCU和一个0.96寸的oled小屏幕。又想起最近一直想要买一个屏幕作为性能监控&#xff0c;随机开始自己diy。 硬件&#xff1a; ESP8266 MUColed小屏幕杜邦线可以传输数据的数据线 环境 Windows系统Qt6Arduino Arduino 库…

企业图纸加密软件哪个最好用?10款常用图纸加密软件强力推荐!

在现代企业中&#xff0c;保护图纸和设计文件的安全性至关重要。以下是十款常用且功能强大的图纸加密软件推荐&#xff0c;帮助企业更好地保护其知识产权和敏感数据。 1. 安秉网盾 安秉网盾凭借其强大的加密技术和灵活的权限管理功能&#xff0c;成为企业保护图纸安全的首选。…

源码编译安装python3.12没有ssl模块,python3.12 ModuleNotFoundError: No module named ‘_ssl‘

已经编译安装了opensll 3.3 源码编译安装python3.12没有ssl模块&#xff0c;python3.12 ModuleNotFoundError: No module named ‘_ssl’ 报错如下&#xff1a; [rootlocalhost ~]# python Python 3.12.5 (main, Sep 9 2024, 10:33:15) [GCC 4.8.5 20150623 (Red Hat 4.8.5-4…

vue3 指定元素全屏 screenfull(可直接粘贴使用)

业务需求 由于输入的文字较多&#xff0c;需要将输入框进行全屏展示&#xff0c;方便输入和查看&#xff01; 效果图 实现方式 下载插件"screenfull": “^6.0.2” yarn add screenfull -S项目中使用 import screenfull from "screenfull"templte中代码…

性能测试的复习3-jmeter的断言、参数化、提取器

一、断言、参数化、提取器 需求&#xff1a; 提取查天气获取城市名请求的响应结果&#xff1a;城市对查天气获取城市名的响应结果进行响应断言和json断言对查天气获取城市名添加用户参数 1、步骤 查看天气获取城市名 json提取器&#xff08;对响应结果提取、另一个接口请求…

软考系统分析师难吗?现在开始准备需要多久能考试?

先说结论&#xff1a;作为软考中的高级科目&#xff0c;难度肯定是不小的&#xff0c;一般系分的通过率只有10%-20%&#xff0c;其实和高项差不多。但是系分上限高&#xff0c;知识点不会变来变去&#xff0c;按照套路学就会更有把握。 一、什么是系统分析师 要备考系统分析师…

Oracle绑定变量窥视与自适应游标共享

一.Oracle的绑定变量窥视与自适应游标共享 创建test表&#xff0c;列status存在2个值&#xff0c;有数据倾斜&#xff0c;在列status create table test as select rownum id,DBMS_RANDOM.STRING(A,12) name,DECODE(MOD(ROWNUM,500),0,Inactive,Active) status from all_obj…

这本真绝!《自然语言处理新范式:基于预训练模型的方法》真的不要太强(附PDF)

今天给大家推荐一本超绝的大模型书——《自然语言处理新范式&#xff1a;基于预训练模型的方法》 为什么推荐这本书&#xff1f; 近些年来&#xff0c;以GPT、BERT为代表的预训练模型在自然语言处理领域掀起了一股浪潮&#xff0c;打开了“预训练精调”的自然语言处理新范式…

基于repo同步kylin v10 源及构建本地源

1. 需求和环境 需求&#xff1a;满足离线环境下&#xff0c;可以通过yum获取kylin软件包.我们通过x86的设备同步软件包,然后构建本地源。 客户端&#xff1a;X86笔记本 客户端OS版本&#xff1a;Kylin-Server-10-SP1-Release 2. 同步源到本地 2.1 安装createrepo和reposync等…

OPENAIGC开发者大赛高校组特等奖 | OK简历

在第二届拯救者杯OPENAIGC开发者大赛中&#xff0c;涌现出一批技术突出、创意卓越的作品。为了让这些优秀项目被更多人看到&#xff0c;我们特意开设了优秀作品报道专栏&#xff0c;旨在展示其独特之处和开发者的精彩故事。 无论您是技术专家还是爱好者&#xff0c;希望能带给…

我开源了:学术论文总结AI-Agent!

为什么搞这个项目&#xff1f; 作为一个天天喜欢读最新论文的人&#xff0c;我也深受其害。打开邮箱&#xff0c;几十篇新推送的论文排队等我去点开阅读&#xff1b;好不容易点进去了&#xff0c;还得慢慢啃英文&#xff0c;最后还得写总结……嗯&#xff0c;太痛苦了。所以&a…

ELK预警方案:API+XXLJob

目录 步骤一&#xff1a;出一个接口&#xff0c;接口内查询出10分钟内是否有异常信息 步骤二&#xff1a;XXLJob中设置预警的频率 步骤三&#xff1a;在重要的业务处输出指定格式日志即可 步骤一&#xff1a;出一个接口&#xff0c;接口内查询出10分钟内是否有异常信息 {&qu…

Xshell官网免费版下载

首先打开官网地址&#xff1a;NetSarang Homepage CN - NetSarang Websitehttps://www.xshell.com/zh 然后划到下拉框最下方找到---家庭/学校免费&#xff1a; 打开后直接下载就好了&#xff1a; 完成之后得到&#xff0c;然后傻瓜式安装就可以&#xff0c;安装路径可根据所需…

【电力系统】清除故障后电力系统的摆动曲线

摘要 电力系统在故障清除后通常会经历暂态过程&#xff0c;表现为发电机转子角度的摆动曲线。本文通过仿真分析了故障清除后电力系统的摆动曲线特性&#xff0c;研究了不同类型故障对摆动曲线的影响。结果显示&#xff0c;系统在清除故障后会产生不同幅度和频率的摆动&#xf…

存储课程学习笔记8_spdk的安装以及简单demo测试

已经对相关的基础概念有一定的了解&#xff0c;比如裸盘&#xff0c;文件系统&#xff0c;读写相关裸盘&#xff0c;裸盘挂载使用&#xff0c;内核插入文件系统的方式&#xff0c;相关操作io的库或者函数&#xff08;io_uring, readv&#xff0c;writev, mmap等&#xff09;&am…

张驰咨询:打造精益生产高手的摇篮,企业竞争力倍增器!

精益生产培训机构在推动企业转型升级、提升竞争力方面发挥着不可替代的作用。它们通过系统化的培训&#xff0c;将精益生产的核心理念、工具和方法传授给企业及其员工&#xff0c;助力企业实现生产效率的飞跃、成本的有效控制以及产品质量的显著提升。 一、精益生产培训机构的作…

一文搞懂Maven的使用:下载、配置、阿里云私服、IDEA配置

Maven是什么&#xff1f; Maven是一个项目管理工具&#xff0c;其核心是一个项目对象模型&#xff08;POM&#xff1a;Project Object Model&#xff09;&#xff0c;通过这个模型可以管理项目的构建、报告和文档。Maven还包含了一套标准的集合、项目生命周期、依赖管理系统以…