大数据dolphinscheduler 本地容器化安装

news2024/11/24 15:52:31

Minio 容器安装

docker run -p 9000:9000 -p 9090:9090 --name minio -d -e "MINIO_ACCESS_KEY=minioadmin"  -e "MINIO_SECRET_KEY=minioadmin"  -v D:\SF\DOCKER\minio\data:/data  -v D:\SF\DOCKER\minio\config:/root/.minio   minio/minio server  /data --console-address ":9090" -address ":9000"

本地创建文件夹：

D:\SF\DOCKER\minio\data
D:\SF\DOCKER\minio\config

登录创建bucket
登录地址：http://127.0.0.1:9090/
用户名密码：minioadmin/minioadmin
在这里插入图片描述

部署 dolphinscheduler-standalone-server

拷贝配置文件到本地

1、启动一个标准容器

docker run --name dolphinscheduler-standalone-server -p 12345:12345 -p 25333:25333  -d apache/dolphinscheduler-standalone-server:3.1.5

2、将标准配置文件拷贝到本地

docker cp dolphinscheduler-standalone-server:/opt/dolphinscheduler/conf  D:\SF\DOCKER\dolphinscheduler\

3、删除标准容器

docker rm -f dolphinscheduler-standalone-server

修改配置

修改配置文件conf: common.properties 文件

# resource storage type: HDFS, S3, OSS, NONE 将NONE修改为S3
resource.storage.type=S3
# 本地容器之间访问主机localhost配置
resource.aws.s3.endpoint=http://host.docker.internal:9000

注：minio配置 resource.aws.*

容器启动

docker run --name dolphinscheduler-standalone-server -p 12345:12345 -p 25333:25333 -v D:\SF\DOCKER\dolphinscheduler\data:/tmp/dolphinscheduler -v D:\SF\DOCKER\dolphinscheduler\conf:/opt/dolphinscheduler/conf -d apache/dolphinscheduler-standalone-server:3.1.5