DPDI online在线调度系统环境部署

news2024/11/19 2:44:05

DPDI online简介：

DPDI Online 是一款基于Kettle的强大在线任务调度平台，凭借其高效与灵活性，专为调度和监控Kettle客户端生成的ETL任务而设计

DPDI online部署

DPDI服务部署文档包含依赖环境部署和应用本身部署

依赖环境部署：Minio

脚本

docker run -d -p 9000:9000 -p 50000:50000 --name minio
-e “MINIO_ROOT_USER=admin”
-e “MINIO_ROOT_PASSWORD=12345678”
minio/minio server --console-address “:50000” /data

在命令行中执行如上命令,其中⽤户名和密码可以根据自己的需要自行定义
在这里插入图片描述
命令运行完毕后可以执行如下命令检测是否部署成功

docker ps

在这里插入图片描述

部署完毕后,就可以访问:MinIO Console,使⽤设置的⽤户名和密码登录

在这里插入图片描述

登录成功后,进如Buckets菜单页面,创建Bucket,名称可以根据自己定义,留作后面启动DPDI online使⽤

在这里插入图片描述

下⼀步进入Service Accounts,创建访问秘钥

在这里插入图片描述

在这里插入图片描述
记录好AccessKey和SecurityKey,留作后续DPDI启用使用

在这里插入图片描述
到此Minio就部署配置完毕

Mysql配置

执行如下命令,密码可以根据自己需要定义,创建MySql

docker run --name some-mysql -p 3306:3306 -e
MYSQL_ROOT_PASSWORD=123456@dpdi -d mysql --lower_case_table_names=1

在这里插入图片描述
命令运⾏完毕后可以执⾏如下命令检测是否部署成功

docker ps

在这里插入图片描述
用数据库客户端访问数据库,端口和密码如命令配置,用户名是root

在这里插入图片描述
客户端连接好数据库后

创建Schema

create schema yanshi collate utf8mb4_general_ci;

在Scheme下创建表

建表脚本

可通过客户端工具导入建表脚本yanshi.sql，也可以打开yanshi.sql脚本在客户端工具执行

初始化用户表和kettle版本

INSERT INTO yanshi.sys_user ( username, password, nickname, email,
create_time, update_time) VALUES (

                               'dpdi',
                                                               
                               'dpdi',
                                                               
                               '演示⽤户', null,
                                                               
                               now(),now());
                                                               
                               INSERT INTO r_kettle_version

(name, description, image_address, create_time, update_time) VALUES
(‘pdi-ce-8.0.0
.0-28’, ‘pdi-ce-8.0.0.0-28’, ‘registry.cn-
hangzhou.aliyuncs.com/threebitch/8.0.0.0’, now(), now());

执⾏结果

在这里插入图片描述

部署DPDI服务

查看⾃⼰本机IP:192.168.1.4

部署脚本:

docker run -d -p 80:80 --name dpdi
-e “DB_URL={DB_URL}”
-e “DB_USER={DB_USER}”
-e “DB_PWD={DB_PWD}”
-e “MINIO_URL={MINIO_URL}”
-e “MINIO_ACCESS_KEY={MINIO_ACCESS_KEY}”
-e “MINIO_SECRET_KEY={MINIO_SECRET_KEY}”
-e “MINIO_BUCKET={MINIO_BUCKET}”
registry.cn-hangzhou.aliyuncs.com/threebitch/dpdi:0.0.1

替换脚本的DB和MINIO配置

替换后的脚本:

docker run -d -p 80:80 --name dpdi
-e “DB_URL=jdbc:mysql://192.168.1.4:3306/yanshi?
serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=utf8&n
ullNamePatternMatchesAll=true&&nullCatalogMeansCurrent=true&allowPubl
icKeyRetrieval=true&useSSL=false”
-e “DB_USER=root”
-e “DB_PWD=123456@dpdi”
-e “MINIO_URL=http://192.168.1.4:9000”
-e “MINIO_ACCESS_KEY=FMGEB6W7I9BMB908AWGP”
-e “MINIO_SECRET_KEY=yZatnbdHx62dKAZ5xPIkB+NGVsliNsM8GbuvJf38”
-e “MINIO_BUCKET=kettle”
registry.cn-hangzhou.aliyuncs.com/threebitch/dpdi:0.0.1

在这里插入图片描述