一百二十七、海豚调度——dolphinscheduler205单机版安装

news2024/11/24 4:11:30

一、前提准备

1.JDK1.8

2.MySQL(5.7+)

3.ZooKeeper(3.4.6+)

4.需安装进程树分析工具 psmisc               

[root@linux128 ~]# sudo yum install -y psmisc

5.海豚调度安装包和MySQL驱动包

apache-dolphinscheduler-2.0.5-bin.tar.gz

mysql-connector-java-8.0.30.jar

二、安装步骤

(一)打开安装包所在地
[root@linux128 ~]# cd /usr/local/hurys/dc_env/dolphinscheduler/tar/
[root@linux128 tar]# ls
apache-dolphinscheduler-2.0.5-bin.tar.gz

(二)解压安装包
[root@linux128 tar]# tar  -zxvf  apache-dolphinscheduler-2.0.5-bin.tar.gz  -C  /usr/local/hurys/dc_env/dolphinscheduler/

(三)重命名
[root@linux128 tar]# cd /usr/local/hurys/dc_env/dolphinscheduler/
[root@linux128 dolphinscheduler]# ls
apache-dolphinscheduler-2.0.5-bin  tar
[root@linux128 dolphinscheduler]# mv apache-dolphinscheduler-2.0.5-bin/  dolphinscheduler205
[root@linux128 dolphinscheduler]# ls
dolphinscheduler205  tar

(四)在MySQL中创建元数据库及用户
(1)创建数据库
mysql> CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
(2)创建用户
mysql> CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY 'dolphinscheduler';
注:
若出现以下错误信息,表明新建用户的密码过于简单。
ERROR 1819 (HY000): Your password does not satisfy the current policy requirements
可提高密码复杂度或者执行以下命令降低 MySQL 密码强度级别。
mysql> set global validate_password_policy=0;
mysql> set global validate_password_length=4;
(3)赋予用户相应权限
mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%';
mysql> flush privileges;
(4)查看用户权限 数据库MySQL的表user
mysql> select host, user, authentication_string, plugin from user;
+-----------+------------------+------------------------------------------------------------------------+-----------------------+
| host      | user             | authentication_string                                                  | plugin                |
+-----------+------------------+------------------------------------------------------------------------+-----------------------+
| %         | dolphinscheduler | $A$005$@?;{l/@9BUv9nOlxpB5rY7amwIbGUBSSN.5Y2tcU43NdraIpiTSvYtRTHX1 | caching_sha2_password |

(五)修改配置文件install_config.conf
[root@linux128 dolphinscheduler205]# cd ./conf/config/
[root@linux128 config]# ls
install_config.conf
[root@linux128 config]# vi install_config.conf
# 将要部署任一 DolphinScheduler 服务的服务器主机名或 ip 列表
25 ips="192.168.204.128"

# master 所在主机名列表,必须是 ips 的子集
34 masters="192.168.204.128"

# worker 主机名及队列,此处的 ip 必须在 ips 列表中
39 workers="192.168.204.128:default"

# 告警服务所在服务器主机名
44 alertServer="192.168.204.128"

# api 服务所在服务器主机名
49 apiServers="192.168.204.128"

# 不需要的配置项,可以保留默认值,也可以用 # 注释
54 #pythonGatewayServers="ds1"

# DS 安装路径,如果不存在会创建
58 installPath="/usr/local/hurys/dc_env/dolphinscheduler"

# 部署用户,任务执行服务是以 sudo -u {linux-user} 切换不同 Linux 用户的方式来
实现多租户运行作业,因此该用户必须有免密的 sudo 权限。
63 deployUser="root"

66 dataBasedirPath="/tmp/dolphinscheduler"
# 前文配置的所有节点的本地数据存储路径,需要确保部署用户拥有该目录的读写权限

# JAVA_HOME 路径
73 javaHome="/usr/local/java"

83 # Supported values: ``postgresql``, ``mysql`, `h2``.
# 注意:数据库相关配置的 value 必须加引号,否则配置无法生效
# 数据库类型
84 DATABASE_TYPE="mysql"

# 数据库 URL
90 SPRING_DATASOURCE_URL="jdbc:mysql://192.168.204.128:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8"

# 数据库用户名
93 SPRING_DATASOURCE_USERNAME="dolphinscheduler"

# 数据库密码
96 SPRING_DATASOURCE_PASSWORD="dolphinscheduler"

102 registryPluginName="zookeeper"
# 注册中心插件名称,DS 通过注册中心来确保集群配置的一致性

# 注册中心地址,即 Zookeeper 集群的地址
105 registryServers="192.168.204.128:2181"

108 registryNamespace="dolphinscheduler"
# DS 在 Zookeeper 的结点名称

# 资源存储类型
117 resourceStorageType="HDFS"

120 resourceUploadPath="/dolphinscheduler"
# 资源上传路径

# 默认文件系统
125 defaultFS="hdfs://192.168.204.128:8020"

133 resourceManagerHttpAddressPort="8088"
# yarn RM http 访问端口

136 yarnHaIps=
# Yarn RM 高可用 ip,若未启用 RM 高可用,则将该值置空

139 singleYarnIp="linux128"
# Yarn RM 主机名,若启用了 HA 或未启用 RM,保留默认值

143 hdfsRootUser="root"
# 拥有 HDFS 根目录操作权限的用户


(六)初始化数据库
第一步,拷贝MySQL驱动包 注意驱动包是8.X的版本
[root@linux128 dolphinscheduler205]# cp /usr/local/hurys/dc_env/hive/jar/mysql-connector-java-8.0.30.jar  ./lib/
第二步,执行数据库初始化脚本
[root@linux128 dolphinscheduler205]# script/create-dolphinscheduler.sh
  .   ____          _            __ _ _
 /\\ / ___'_ __ _ _(_)_ __  __ _ \ \ \ \
( ( )\___ | '_ | '_| | '_ \/ _` | \ \ \ \
 \\/  ___)| |_)| | | | | || (_| |  ) ) ) )
  '  |____| .__|_| |_|_| |_\__, | / / / /
 =========|_|==============|___/=/_/_/_/
 :: Spring Boot ::                (v2.5.6)


(七)一键部署 DolphinScheduler

(1)首先启动 Zookeeper 
[root@hurys22 ~]# cd /rtp_system_pakage/env/kafka/kafka213/
[root@hurys22 kafka213]# bin/zookeeper-server-start.sh config/zookeeper.properties

(2)然后一键部署并启动 DolphinScheduler
[root@linux128 dolphinscheduler205]# ./install.sh

192.168.204.128  Begin status master-server......
master-server  [  RUNNING  ]
End status master-server.
192.168.204.128  Begin status worker-server......
worker-server  [  RUNNING  ]
End status worker-server.
192.168.204.128  Begin status logger-server......
logger-server  [  RUNNING  ]
End status logger-server.
192.168.204.128  Begin status alert-server......
alert-server  [  RUNNING  ]
End status alert-server.
192.168.204.128  Begin status api-server......
api-server  [  RUNNING  ]
End status api-server.

(3)接着,查看 DolphinScheduler 进程  5个进程:ApiApplicationServe、MasterServer、WorkerServer、LoggerServer、AlertServer
[root@linux128 dolphinscheduler205]# jps
25345 ApiApplicationServer
25202 MasterServer
25506 Jps
25237 WorkerServer
25272 LoggerServer
21805 QuorumPeerMain
25309 AlertServer

(4)最后,访问 DolphinScheduler UI
DolphinScheduler UI 地址为    http://192.168.204.128:12345/dolphinscheduler
初始用户的用户名为:admin,密码为 dolphinscheduler123

(八) DolphinScheduler 启停命令
DolphinScheduler 的启停脚本均位于其安装目录的 bin 目录下。
1)一键启停所有服务
./bin/start-all.sh
./bin/stop-all.sh
注意同 Hadoop 的启停脚本进行区分。
2)启停 Master
./bin/dolphinscheduler-daemon.sh start master-server
./bin/dolphinscheduler-daemon.sh stop master-server
3)启停 Worker
./bin/dolphinscheduler-daemon.sh start worker-server
./bin/dolphinscheduler-daemon.sh stop worker-server
4)启停 Api
./bin/dolphinscheduler-daemon.sh start api-server
./bin/dolphinscheduler-daemon.sh stop api-server
5)启停 Logger
./bin/dolphinscheduler-daemon.sh start logger-server
./bin/dolphinscheduler-daemon.sh stop logger-server
6)启停 Alert
./bin/dolphinscheduler-daemon.sh start alert-server
./bin/dolphinscheduler-daemon.sh stop alert-server
 

海豚调度器安装成功,具体操作待续

乐于奉献共享,帮助你我他!!!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/725457.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Meta推出推特竞争对手APP:Threads

我是卢松松,点点上面的头像,欢迎关注我哦! 今日,Meta 正式在美国推出独立的社交应用程序Threads,这是一款直接针对推特的应用程序。类似于Twitter,可以发表短消息和图片。和国内的新浪微博一个意思。 Th…

WIN11家庭中文版使用ENSP+VirtualBox启动AR失败40错误+未完全关闭hyper-V,以及安装VirtualBox兼容性问题

使用版本:eNSP 1.3.00.100VirtualBox 5.2.44WinPcap_4_1_3Wireshark最新版。 win11系统最好按照上述版本安装,VirtualBox不要安装更高版本,否则可能出现不兼容情况,Wireshark版本要求还好,安装顺序是VirtualBox 5.2.4…

Filter过滤器总结

文章目录 1. Filter介绍2. Filter分析2.1 初始化使用2.2 WebFilter 配置2.3 其他 3. Filter应用3.1 筛选访问路径3.2 判断用户是否存在 1. Filter介绍 介绍: Filter是过滤器,通常可以将请求的资源拦截下来从而实现一些补充操作。 2. Filter分析 2.1 初始化使用 …

多地ping检测域名解析ip地址—js混淆对抗

多地ping检测域名解析ip地址—js混淆对抗 0x1 概述 由于项目需求,给出了n多条域名,需要获取其对应的ip地址。本文叙述了解决项目问题所使用的方法,且本文旨在研究js反混淆,请勿将所观所学用于非法操作,如有侵权&…

spring-bean的基础知识

1.bean的别名 2.bean的作用范围 单例多例&#xff0c;即现在创建的bean对象是一个还是多个&#xff0c;默认情况下是单例&#xff0c;可在配置文件修改 <bean scope"singleton/prototype"/> 适合单例的bean 1.表现层对象 2.业务层对象 3.数据层对象 4.工具对…

windows py项目部署到centos7上出现的问题

yolov5训练数据时&#xff0c;centos7系统无法访问github下载预训练模型方法&#xff1a;在自己的计算机中打开etc&#xff0c;找到hosts文件 将下面的命令添加到内容的末尾 # GitHub Start 140.82.113.3 github.com 140.82.114.20 gist.github.com 151.101.184.133 …

基于Java+vue前后端分离微博系统设计实现(源码+lw+部署文档+讲解等)

博主介绍&#xff1a;✌全网粉丝30W,csdn特邀作者、博客专家、CSDN新星计划导师、Java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ &#x1f345;文末获取源码联系&#x1f345; &#x1f447;&#x1f3fb; 精彩专…

17.待机唤醒

1.STM32待机模式介绍&#xff1a; &#xff08;1&#xff09;STM32低功耗模式介绍&#xff1a; STM32提供了3种低功耗模式&#xff0c;以达到不同层次的降低功耗的目的&#xff0c;三种模式如下所示&#xff1a; 睡眠模式(CM内核停止工作&#xff0c;外设仍在运行)&#xff…

【K8S系列】深入解析K8S监控

序言 做一件事并不难&#xff0c;难的是在于坚持。坚持一下也不难&#xff0c;难的是坚持到底。 文章标记颜色说明&#xff1a; 黄色&#xff1a;重要标题红色&#xff1a;用来标记结论绿色&#xff1a;用来标记论点蓝色&#xff1a;用来标记论点 Kubernetes (k8s) 是一个容器编…

C语言学习(三十四)---动态内存常见错误总结

上节内容中&#xff0c;我们学习如何规范的申请和使用动态内存&#xff0c;其实是很重要的一环。 在大的程序中&#xff0c;应该注意这些细节问题&#xff0c;不然就会对其他的程序猿们产生影响&#xff0c;因为大的程序不可能交由一个人完成&#xff0c;所以&#xff0c;你编…

Slidev: 为开发者打造的演示文稿工具

非程序员开发者可以忽略&#xff0c;需要一定Markdown等知识要求。 官网地址&#xff1a;Slidev、开始使用 | Slidev 简介 Slidev (slide dev, /slʌɪdɪv/) 是基于 Web 的幻灯片制作和演示工具。它旨在让开发者专注在 Markdown 中编写内容&#xff0c;同时拥有支持 HTML 和…

二本4年测试经验,五面阿里(定薪35K),分享我的心得

6月跳槽&#xff0c;先后面试了多个大大小小的公司&#xff0c;拿了一些offer&#xff0c;有阿里&#xff0c;滴滴&#xff0c;快手&#xff0c;达达&#xff0c;得物等公司。面试的公司大部分都能过&#xff0c;所以这里给大家分享下自己的经验&#xff0c;也给自己做个归档&a…

2021年国赛高教杯数学建模E题中药材的鉴别解题全过程文档及程序

2021年国赛高教杯数学建模 E题 中药材的鉴别解题 原题再现 不同中药材表现的光谱特征差异较大&#xff0c;即使来自不同产地的同一药材&#xff0c;因其无机元素的化学成分、有机物等存在的差异性&#xff0c;在近红外、中红外光谱的照射下也会表现出不同的光谱特征&#xff…

软件工程-期末复习题

第1章软件工程概述 1、软件的概念及特点 概念&#xff1a; 计算机软件是由专业人员开发并长期维护的软件产品。完整的软件产品包括了在各种不同容量和体系结构计算机上的可执行的程序&#xff0c;运行过程中产生的各种结果&#xff0c;以及以硬复制和电子表格等多种方式存在的软…

ChatGPT 和爬虫有什么区别

目录 ChatGPT的概念和功能 爬虫的概念和功能 ChatGPT和爬虫的区别 ChatGPT的概念和功能 ChatGPT是一个基于自然语言处理和机器学习的智能对话模型&#xff0c;具有以下功能&#xff1a; 1. 问题回答&#xff1a;ChatGPT可以回答用户提出的各种问题。不论是有关常识、历史、科…

【数据结构】---TopK问题

本文提供用建堆来解决TopK问题的一个思路 N个数中找出最大的或者最小的前k个 假设现从N个数中找最大的前k个 ①堆排序&#xff0c;时间复杂度O(N*logN)&#xff0c;这N个数排一下序&#xff0c;前k个数就是需要的②建堆N个数的小堆&#xff0c;HeapPop 9次&#xff0c;就选出…

嵌入式工程师常见面试题(持续更新版本)

前言&#xff1a;鄙人于学堂求学十余载&#xff0c;终是要踏足江湖求一寸安身处&#xff01;以前都忙着学习新东西以及做项目&#xff0c;现如今也需要面对找工作的压力。此篇博客是作者准备的嵌入式工程师常见的面试题目汇总&#xff0c;其答案包含网络搜索和作者自己感悟总结…

6月,视频号爆火的账号有哪些?

六月伊始&#xff0c;视频号就借着六一节点上线青少年内容分级功能&#xff0c;让视频号内容及安全管理更精细化。紧接着开展了“特效大拍档”招募活动&#xff0c;激励各垂类头部创作者持续活跃&#xff0c;与他们共建更丰富健康的内容生态。在官方各种活动激励之下&#xff0…

Python语法基础07(文件与异常)

文件 输出文件中的内容 在项目代码同路径下创建一个pi_digits文件 3.14159265358979323846在fileDemo0.py中将其打开&#xff0c;并输出 #用函数open()打开文件&#xff0c;并将对象赋给file,对于open中的文件路径&#xff0c;可以使用相对路径也可以使用绝对路径 with ope…

2023年淘宝天猫内部大额隐藏粉丝福利购店铺优惠券领取入口在哪里怎么找到免费领取淘宝天猫优惠券?

草柴优惠券APP应用市场下载入口 草柴优惠券APP已上架的应用市场&#xff1a;华为应用市场、小米应用市场、OPPO应用市场、VIVO应用市场及百度手机助手&#xff0c;请打开以上应用市场搜索&#xff1a;草柴优惠券&#xff0c;即可下载通过应用市场审核验证通过的安全可信应用&a…