海豚调度器集群安装DolphinScheduler(3.1.8)

news2024/11/13 16:27:35

一、前置准备工作

  1. JDK:下载JDK (1.8),安装并配置 JAVA_HOME 环境变量,并将其下的 bin 目录追加到 PATH 环境变量中。如果你的环境中已存在,可以跳过这步。
  2. 海豚调度器二进制包:下载 DolphinScheduler(3.1.8) 二进制包
  3. 数据库: MySQL (5.7)
  4. 注册中心:ZooKeeper (3.9.0)
  5. 进程树分析
    macOS安装pstree
    Fedora/Red/Hat/CentOS/Ubuntu/Debian安装psmisc
  6. 关闭防火墙
  7. 如果安装了tomocat一定要把tomocat的端口修改,因为zookeeper端口也是8080和tomocat一样
  8. 下面安装是基于linux CENTOS7.6安装的

安装包下载见文章末尾

节点 IP 安装软件
cm01 170.20.2.110 JDK1.8、Mysql5.7、ZooKeeper3.9.0、DolphinScheduler3.1.8、Psmisc
cm02 170.20.2.111 JDK1.8、ZooKeeper3.9.0、Psmisc
cm03 170.20.2.112 JDK1.8、ZooKeeper3.9.0、Psmisc

二、安装

2.1 创建dolphinscheduler用户

#使用root用户创建用户(各个节点都要创建)
[root@cm01 opt]#useradd dolphinscheduler

#配置sudo免密
[root@cm01 opt]#sed -i '$adolphinscheduler ALL=(ALL)  NOPASSWD: NOPASSWD: ALL' /etc/sudoers
[root@cm01 opt]#sed -i 's/Defaults requirett/#Defaults  requirett/g' /etc/sudoers
#配置免密登录
#在各节点生成公钥和私钥
[root@cm01 opt]#su - dolphinscheduler
[dolphinscheduler@cm01 opt]#ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
[dolphinscheduler@cm01 opt]#touch /home/dolphinscheduler/.ssh/authorized_keys
[dolphinscheduler@cm01 opt]#chmod 600 ~/.ssh/authorized_keys

#集群之间完成免密
[dolphinscheduler@cm01 opt]#ssh-copy-id -i ~/.ssh/id_rsa.pub dolphinscheduler@cm01
[dolphinscheduler@cm01 opt]#ssh-copy-id -i ~/.ssh/id_rsa.pub dolphinscheduler@cm02
[dolphinscheduler@cm01 opt]#ssh-copy-id -i ~/.ssh/id_rsa.pub dolphinscheduler@cm03

2.2 各个节点都要安装jdk(如果安装过请跳过)

[root@cm01 opt]#rpm -ivh oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
#查找安装位置
[root@cm01 opt]#find / -name java

在这里插入图片描述

#配置环境变量
[root@cm01 opt]# echo 'export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera' >> /etc/profile
[root@cm01 opt]# echo 'export PATH=.:$JAVA_HOME/bin:$PATH' >> /etc/profile
[root@cm01 opt]# source /etc/profile
#验证是否安装成功
[root@cm01 opt]# java -version

2.3各个节点都要安装zookeeper(集群式分布)

[root

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1080530.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

CPU性能分析--火焰图使用

记录工具使用说明,火焰图原理网上分析很多。主要用来分析函数调用栈占用的cpu利用率,分析函数性能。 perf安装: sudo apt-get install linux-tools-common sudo apt-get install linux-tools-"(uname -r)" sudo apt-get install …

【广州华锐互动】铝厂事故3D仿真还原让员工深刻认识事故严重性

铝厂作为高风险行业,安全问题一直备受关注。随着3D技术的不断发展,铝厂开始采用3D警示动画进行安全教育,取得了显著的成效。这种逼真的画面能够让员工深刻认识到事故的严重性和危害性,从而更加重视安全问题。 1.分析事故原因和后果…

用netty实现简易rpc

文章目录 rpc介绍:rpc调用流程:代码: rpc介绍: RPC是远程过程调用(Remote Procedure Call)的缩写形式。SAP系统RPC调用的原理其实很简单,有一些类似于三层构架的C/S系统,第三方的客户程序通过接…

群晖内安装的windows虚拟机如何扩展磁盘(虚拟机如何扩展磁盘,解决扩展磁盘不生效的问题)

文章目录 问题解决问题问题 在群晖的虚拟机中创建了一个Win7x64的虚拟机,由于配置低的原因,但是容量只设置了30G,但是现在要满了,所以现在要迁移和扩容 迁移很简单,直接选择迁移就行,扩容的话也就是选择扩容到指定的容量 (注意:这里容量扩大是不可逆的,扩大了不能再变…

银河麒麟安装arm架构mysql8

1. 准备工作 2. 查看麒麟系统版本 使用命令 Linux version 4.19.90-25.21.v2101.ky10.aarch64 (KYLINSOFTlocalhost.localdomain) (gcc version 7.3.0 (GCC)) #1 SMP Wed Sep 28 16:37:42 CST 2022可以看出这是麒麟 v10 ,aarch64 (ARM 架构的&#xff…

A股风格因子看板 (2023.10 第02期)

该因子看板跟踪A股风格因子,该因子主要解释沪深两市的市场收益、刻画市场风格趋势的系列风格因子,用以分析市场风格切换、组合风格暴露等。 今日为该因子跟踪第02期,指数组合数据截止日2023-09-30,要点如下 1) 近1年A股风格因子检…

聊一聊 Spring 6 面向切面AOP

Java全能学习面试指南:https://javaxiaobear.cn 今天我们一起看看Spring AOP的相关操作! 1、场景模拟 搭建子模块:spring6-aop 1.1、声明接口 声明计算器接口Calculator,包含加减乘除的抽象方法 public interface Calculator…

tailwindcss安装完插件代码不提示

安装完插件鼠标滑过tailwindcss类名claa不提示 vscode版本太低.需要安装最新的vscode插件扩展设置中的Tailwind CSS :Emmet Completions默认是未勾选的,需要手动勾选

科技云报道:不堪忍受英伟达霸权,微软、OpenAI纷纷自研AI芯片

科技云报道原创。 英伟达是当之无愧的“AI算力王者”,A100、H100系列芯片占据金字塔顶尖位置,是ChatGPT这样的大型语言模型背后的动力来源。 但面对英伟达的独霸天下,科技巨头们都纷纷下场自研AI芯片。 10月6日,媒体援引知情人…

二、WebGPU阶段间变量(inter-stage variables)

二、WebGPU阶段间变量(inter-stage variables) 在上一篇文章中,我们介绍了一些关于WebGPU的基础知识。在本文中,我们将介绍阶段变量(inter-stage variables)的基础知识。 阶段变量在顶点着色器和片段着色…

科技资讯|苹果下一代Vision Pro头显将更小更轻,预装处方镜片

据彭博社的 Mark Gurman 在《Power On》新闻简报中透露,苹果和 Meta 的混合现实头显还未发售,但两家的下一代机型的开发工作已经在顺利进行。 据报道,苹果下代产品的一个重点是通过更小、更轻的设计,使其设备佩戴起来更加舒适。据…

VScode远程root权限调试

尝试诸多办法无法解决的情况下,允许远程登陆用户直接以root身份登录 编辑sshd_config文件 sudo vim /etc/ssh/sshd_config 激活配置 注释掉PermitRootLogin without-password,即#PermitRootLogin without-password 增加一行:PermitRootLo…

浅谈高速公路服务区分布式光伏并网发电

前言 今年的国家经济工作会议提出:将“做好碳达峰、碳中和工作”作为 2021年的主要任务之一,而我国高速公路里程 15.5万公里,对能源的需求与日俱增,碳排放量增速明显。 为了实现采用减少碳排放量,采用清洁能源替代的…

mac版postman升级后数据恢复办法

postman升级了一下,所有的collections都丢失了。 首先在finder里找到这个路径 /Users/{用户名}/Library/Application Support/Postman找到升级之前的的最新的backup.json,然后在postman里import这个文件。 所有升级前的collections都恢复了&#xff0…

云上攻防-云服务篇对象存储Bucket桶任意上传域名接管AccessKey泄漏

文章目录 章节点前言对象存储各大云名词: 对象存储-以阿里云为例:正常配置权限配置错误公共读或公共读写:可完整访问但不显示完整结构权限Bucket授权策略:设置ListObject显示完整结构权限Bucket读写权限:公共读写直接P…

数据结构相关知识点(一)

一、线性表 1.什么是线性表? 线性表,全名为线性存储结构。使用线性表存储数据的方式可以理解理解为:把所有数据按照顺序(线性)的存储结构方式,存储在物理空间。 2.线性存储结构 顺序存储结构&#xff1…

建筑行业+办公领域低代码解决方案:创新、效率与商机的共赢

随着科技的不断进步和创新,建筑行业面临着技术创新和转型升级的压力。新的技术和工艺不断涌现,建筑企业需要紧跟技术趋势,引入新的技术和工艺,提高生产效率和质量,增强自身的核心竞争力。 而且建筑行业是一个高度竞争…

MongoDB副本集集群原理

文章目录 1、副本集-Replica Sets1.1、是什么1.2、副本集的三个角色1.3、副本集架构目标1.4、副本集的创建1.4.1 第一步:创建主节点1.4.2 第二步:创建副本节点1.4.3 第三步:创建仲裁节点1.4.4 第四步:初始化配置副本集和主节点1.4…

基于SSM的影视企业全渠道会员管理系统的设计与实现

末尾获取源码 开发语言:Java Java开发工具:JDK1.8 后端框架:SSM 前端:Vue 数据库:MySQL5.7和Navicat管理工具结合 服务器:Tomcat8.5 开发软件:IDEA / Eclipse 是否Maven项目:是 目录…

计算机毕业设计选什么题目好?springboot 仓库在线管理系统

✍✍计算机编程指导师 ⭐⭐个人介绍:自己非常喜欢研究技术问题!专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。 ⛽⛽实战项目:有源码或者技术上的问题欢迎在评论区一起讨论交流! ⚡⚡ Java实战 |…