DolphinScheduler 集群模式部署

一、集群规划

集群模式下，可配置多个 Master 及多个 Worker。通常可配置 2~3 个 Master，若干个
Worker。由于集群资源有限，此处配置一个 Master，三个 Worker，集群规划如下。

1、前置准备工作

（1）三台节点均需部署 JDK（1.8+），并配置相关环境变量。
（2）需部署数据库，支持 MySQL（5.7+）或者 PostgreSQL（8.2.15+）。
（3）需部署 Zookeeper（3.4.6+）。
（4）三台节点均需安装进程树分析工具 psmisc。
输入命令： sudo yum install -y psmisc 三台节点执行

2、解压DolphinScheduler 安装包

（1）上传 DolphinScheduler 安装包到 hadoop102 节点的/opt/software 目录
（2）解压安装包到当前目录
输入目录：tar -zxvf apache-dolphinscheduler-2.0.5-bin.tar.gz -C /opt/software/

3、创建元数据库及用户

DolphinScheduler 元数据存储在关系型数据库中，故需创建相应的数据库和用户。
（1）创建数据库
输入目录：CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
（2）创建用户
输入命令： CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY 'p@ssw0rd';
（3）赋予用户相应权限
输入命令：GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%';
输入命令： flush privileges;

二、配置一键部署脚本

输入命令： cd apache-dolphinscheduler-2.0.5-bin
输入命令：vim conf/config/install_config.conf

1、初始化数据库

（1）拷贝mysql8.0 驱动
拷贝 MySQL 驱动到 DolphinScheduler 的解压目录下的 lib 中，要求使用 MySQL
JDBC Driver 8.0.16 要匹配对应的版本
输入命令： cp mysql-connector-java-8.0.16.jar /opt/software/apache-dolphinscheduler-2.0.5-bin/lib/

（2）执行数据库初始化脚本
数据库初始化脚本位于 DolphinScheduler 解 压 目 录 下 的 script 目 录 中 ， 即
/opt/software/ds/apache-dolphinscheduler-2.0.5-bin/script/。
输入命令：/opt/software/ds/apache-dolphinscheduler-2.0.5-bin/script/

2、一键部署 DolphinScheduler

（1）启动 Zookeeper 集群
输入命令： zkServer.sh start 三台节点都执行一下，这个是在zookeeper bin目录下命令

（2）一键部署并启动 DolphinScheduler
输入命令：./install.sh

（3）查看 DolphinScheduler 进程



（4）访问 DolphinScheduler UI
DolphinScheduler UI 地址为：http://hadoop102:12345/dolphinscheduler
初始用户：admin 初始密码：dolphinscheduler123

进入这个界面，说明成功了

3、DolphinScheduler 启停命令

DolphinScheduler 的启停脚本均位于其安装目录的 bin 目录下。
1）一键启停所有服务
./bin/start-all.sh
./bin/stop-all.sh
注意同 Hadoop 的启停脚本进行区分。
2）启停 Master
./bin/dolphinscheduler-daemon.sh start master-server
./bin/dolphinscheduler-daemon.sh stop master-server
3）启停 Worker
./bin/dolphinscheduler-daemon.sh start worker-server
./bin/dolphinscheduler-daemon.sh stop worker-server
4）启停 Api
./bin/dolphinscheduler-daemon.sh start api-server
./bin/dolphinscheduler-daemon.sh stop api-server
5）启停 Logger
./bin/dolphinscheduler-daemon.sh start logger-server
./bin/dolphinscheduler-daemon.sh stop logger-server
6）启停 Alert
./bin/dolphinscheduler-daemon.sh start alert-server
./bin/dolphinscheduler-daemon.sh stop alert-server
服务全部启动之后