dolphinscheduler伪分布式安装

news2024/11/24 15:55:57

1、上传安装包

在这里插入图片描述

2、安装

#解压 重命名
[root@datacollection conf]# cd /opt/modules/
[root@datacollection modules]# tar -zxf apache-dolphinscheduler-2.0.6-bin.tar.gz -C /opt/installs/
[root@datacollection modules]# cd ../installs/
[root@datacollection installs]# mv apache-dolphinscheduler-2.0.6-bin/ dolphinscheduler2.0.6

在这里插入图片描述

3、登录MySQL数据库

版本MySQL8.0+

mysql -uroot -p登录之后,执行如下操作
#创建数据库
CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
#为新创建的数据库授权
GRANT ALL PRIVILEGES ON your_database_name.* TO 'root'@'%';

# 如果上面的指令出现了密码级别不符的报错,在mysql中执行下述语句
set global validate_password.policy=LOW;
set global validate_password.length=4;
set global validate_password.mixed_case_count=0;
set global validate_password.number_count=0;
set global validate_password.special_char_count=0;

#刷新
flush privileges;

在这里插入图片描述

另一种方式:

创建一个用户,设置密码:
CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY '123456';

需要设置数据库的密码规则:
set global validate_password.policy=LOW;
set global validate_password.length=4;
set global validate_password.mixed_case_count=0;
set global validate_password.number_count=0;
set global validate_password.special_char_count=0;

开始创建一个数据库:
CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

创建用户之后,赋予权限:
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%';
flush privileges;

在这里插入图片描述

  • 上传mysql的驱动mysql-connector-java-8.0.26.jar到/opt/installs/dolphinscheduler2.0.6/lib/目录下
cp /opt/modules/mysql-connector-java-8.0.26.jar /opt/installs/dolphinscheduler2.0.6/lib/

4、配置dolphinscheduler的安装信息

切换到 /opt/installs/dolphinscheduler2.0.6/conf/config/  目录下
编辑install_config.conf 文件 ,找到对应的配置项进行修改,不要全部覆盖
# 所有填写到该属性的值,均为集群中的一份子,会在安装的过程中,同步安装到所有填写的服务器
ips="datacollection"
# 将哪些机器设置为master节点
masters="datacollection"
# 工作组的划分,实战中是根据项目进行分配的
workers="datacollection:default"
# 告警邮件的发送服务器
alertServer="datacollection"
# dolphinscheduler内部运行时的交互服务器
apiServers="datacollection"
# python运行环境的交互网关
pythonGatewayServers="datacollection"

# 将软件安装到哪个位置,一定不要和解压目录一致
installPath="/opt/installs/dolphinscheduler_installed"
# 操作hdfs的用户名
deployUser="root"
# DS运行的临时文件存放位置
dataBasedirPath="/opt/installs/dolphinscheduler_installed/tmp_data/dolphinscheduler"
# 指定安装过程中使用的java_home
javaHome="/opt/installs/jdk1.8"

#DS的元数据存放位置,需要提供一个关系型数据库
# 底层元数据库的类型
DATABASE_TYPE=${DATABASE_TYPE:-"mysql"}
# 数据库连接url配置
SPRING_DATASOURCE_URL=${SPRING_DATASOURCE_URL:-"jdbc:mysql://datacollection:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8"}
# 数据库username
SPRING_DATASOURCE_USERNAME=${SPRING_DATASOURCE_USERNAME:-"root"}
# 数据库password
SPRING_DATASOURCE_PASSWORD=${SPRING_DATASOURCE_PASSWORD:-"123456"}


# 配置注册中心,进行主从节点的信息注册,默认使用zookeeper
registryPluginName="zookeeper"
# zookeeper的地址与端口
registryServers="datacollection:2181"
# zookeeper中的主节点名,该值会在zookeeper中根目录下生成一个节点
registryNamespace="dolphinscheduler"

# 资源中心的类型 可以将hdfs作为资源中心,把要执行shell放入到hdfs,任何一个有hdfs客户端的服务器都可以获取到shell
resourceStorageType="HDFS"
# 上传到hdfs上时,要指定hdfs目录,不存在的情况下,会自动创建
resourceUploadPath="/dolphinscheduler"
# hdfs的主入口
defaultFS="hdfs://datacollection:8020"  

# Yarn 的web服务界面端口号 
resourceManagerHttpAddressPort="8088"
# 如果yarn是HA高可用模式,则直接将所有的master节点填写在下方,用逗号分割即可,不是高可用则值填空""
yarnHaIps=""
# 如果yarn是单点模式,该处需要改为服务器的hostname
singleYarnIp="datacollection"

# hdfs文件系统的管理员用户
hdfsRootUser="root"

5、修改环境变量配置文件

切换/opt/installs/dolphinscheduler2.0.6/conf/env ,修改dolphinscheduler_env.sh
# 该文件主要用于指定dolphinscheduler运行时的环境变量
export HADOOP_HOME=/opt/installs/hadoop3.3.1
export HADOOP_CONF_DIR=/opt/installs/hadoop3.3.1/etc/hadoop
#export SPARK_HOME1=/opt/soft/spark1
#export SPARK_HOME2=/opt/soft/spark2
#export PYTHON_HOME=/opt/soft/python
export JAVA_HOME=/opt/installs/jdk1.8
export HIVE_HOME=/opt/installs/hive3.1.2
#export FLINK_HOME=/opt/soft/flink
export DATAX_HOME=/opt/installs/datax

#export PATH=$HADOOP_HOME/bin:$SPARK_HOME1/bin:$SPARK_HOME2/bin:$PYTHON_HOME/bin:$JAVA_HOME/bin:$HIVE_HOME/bin:$FLINK_HOME/bin:$DATAX_HOME/bin:$PATH
export PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$HIVE_HOME/bin:$DATAX_HOME/bin:$PATH

在这里插入图片描述

6、初始数据库中的表和数据

#切换到如下目录
/opt/installs/dolphinscheduler2.0.6/script
#执行sql脚本
./create-dolphinscheduler.sh

在这里插入图片描述
在MySQL中检查一下是否有dolphinscheduler数据库和表
在这里插入图片描述
7、启动服务

zkServer.sh start #启动zk
start-dfs.sh   #启动hdfs
start-yarn.sh  #启动yarn

在这里插入图片描述

8、一键安装

切换到/opt/installs/dolphinscheduler2.0.6目录下,执行
sh install.sh

安装成功后,查看进程
在这里插入图片描述

后期可以通过bin/start-all.sh 或者 bin/stop-all.sh 启停ds

9、访问

1.登录网址
http://datacollection:12345/dolphinscheduler
2.输入用户名和密码
用户名:admin
密码: dolphinscheduler123

在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/776708.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

这8种算法——程序员必会

一个程序员一生中可能会邂逅各种各样的算法,但总有那么几种,是作为一个程序员一定会遇见且大概率需要掌握的算法。今天就来聊聊这些十分重要的“必抓!”算法吧~ 算法一:快速排序法 快速排序法是对冒泡排序的一种改进&#xff0c…

Jmeter测试脚本编写详解(配详图)

一、简介 Apache JMeter是Apache组织开发的基于Java的压力测试工具。用于对软件做压力测试,它最初被设计用于Web应用测试,但后来扩展到其他测试领域。 它可以用于测试静态和动态资源,例如静态文件、Java 小服务程序、CGI 脚本、Java 对象、数…

ORACLE数据库scott没有相关权限

1. 首先登陆具有DBA权限的用户 1.1 打开cmd 1.2 输入以下命令 sqlplus / as sysdab上述命令中的 / as sysdba 表示使用操作系统认证登录,同时指定DBA权限 1.3 回车执行命令,系统或将提示输入密码(没有则直接跳过) 1.4 密码正…

AndroidStudio-实现登录界面(数据存储在SQLite)

要求:每种错误信息采用Toast进行提示 (1)未注册的用户不能进行登录; (2)用户名和密码不能为空; (3)用户名不能重复; 一、创建新工程 点击next 修改名字 &…

JQuery 实现点击按钮添加及删除 input 框

前言 用于记录开发中常用到的,快捷开发 需求新增功能 比如说,我台设备可以设置一个或多个秘钥,有时候我配置一个秘钥时,就不需要多个输入框,当我想配置多个秘钥时,就需要添加多个输入框。 实现 HTML …

Adobe打印机另存pdf出错生成log文件,打印失败

目录预览 一、问题描述二、原因分析三、解决方案四、参考链接 一、问题描述 用adobe打印机转pdf出错生成log文件,打印失败,log文件内容如下: %%[ ProductName: Distiller ]%% FZXBSJW--GB1-0 not found, using Courier. %%[ Error: typecheck; Offendi…

Mac安装MySQL详细教程

1、MySQL安装包下载 还没下载的话请前往官网下载 我们可以看到这里有两个不同架构的dmg的安装包,如果不知道自己电脑是ARM还是X86的话可以打开终端输入:uname -a 或者 uname -a | awk -F " " {print $(NF-1)} 来查看如下图: 这里显…

v-cloak和v-once和v-pre指令

v-cloak指令(没有值): 1.本质是一个特殊属性,Vue实例创建完毕并接管容器后,会删掉v-cloak属性。 2.使用css配合v-cloak可以解决网速慢时页面展示出{{xxx}}的问题 v-once: v-once指令: 1.v-once所在节点在初…

基于linux下的高并发服务器开发(第一章)- Linux开发环境搭建

​​​​​​基于linux下的高并发服务器开发(第一章)-Linux环境开发搭建1.1_呵呵哒( ̄▽ ̄)"的博客-CSDN博客https://blog.csdn.net/weixin_41987016/article/details/131681333?spm1001.2014.3001.5501 解决Ubuntu 虚拟机没…

高数笔记01:函数、极限、连续

图源:文心一言 本文是我学习高等数学第一章的一些笔记和心得,主要介绍了函数、极限、连续这三个基本概念,以及它们的性质和很基础的计算技巧。希望可以与考研路上的小伙伴一起努力上岸~~🥝🥝 第1版:查资料…

Python自动化测试之cookie绕过登录(保持登录状态)

前言 在编写接口自动化测试用例或其他脚本的过程中,经常会遇到需要绕过用户名/密码或验证码登录,去请求接口的情况,一是因为有时验证码会比较复杂,比如有些图形验证码,难以通过接口的方式去处理;再者&…

系统学习Halcon视觉软件指南

要系统学习Halcon视觉软件,您可以按照以下步骤进行: 我这里刚好有嵌入式、单片机、plc的资料需要可以私我或在评论区扣个6 学习基本概念:了解Halcon的基本概念和术语,例如图像处理、特征提取、图像匹配等。可以查阅Halcon的官方…

Web开发的富文本编辑器CKEditor介绍,Django有库ckeditor_uploader对它进行支持,django-ckeditor安装方法及使用注意事项

当需要在网页应用程序中提供富文本编辑功能时,CKEditor是一个流行的选择。CKEditor是一个开源的JavaScript富文本编辑器,它提供了强大的功能和用户友好的界面,使用户可以轻松创建和编辑格式化的文本内容。 以下是CKEditor的一些主要特性&…

MySQL进阶:函数

​ 在MySQL中,为了提高代码重用性和隐藏实现细节,MySQL提供了很多函数。函数可以理解为别人封装好的模板代码。 一、聚合函数 ​ 在MySQL中,聚合函数主要由:count、sum、min、max、avg组成,这些函数前面已经提过&…

std::stox类型

std::stod 函数原型 double stod (const string& str, size_t* idx 0); double stod (const wstring& str, size_t* idx 0);函数功能 将std::string字符串转化为双精度类型 函数参数 str 待转换的字符串 idx 如果idx的指针不为空,则该函数会将idx的…

为什么计算ORB特征点的时候还要取圆形而不是方形像素区域呢?

ORB (Oriented FAST and Rotated BRIEF)是一种在计算机视觉中广泛应用的特征检测和描述符算法。它的设计目的是为了快速、有效地提取图像中的关键点和描述符。在ORB的过程中,确实会涉及到提取圆形区域的操作,这主要出于以下的原因: 旋转不变性…

C++ VS 链接第三方库

C VS 链接第三方库 include lib dll 需要把动态库考到可执行程序的目录之下

客户异常数据清洗详细教程——pandas

前言 在不同行业中,我们经常会遇到一个麻烦的问题:数据清洗。尤其是当我们需要处理客户编码异常数据时,这个问题变得尤为重要。想象一下,许多银行都是以客户为单位管理数据的,因此每个客户都有一个独特的编码。在处理…

浅谈医院综合电气管理与节能措施

摘要:随着我国经济建设的不断加快,我国能源消耗也越来越大,如何通过电气能源管理实现节能是各行各业都在研究的课题。医院作为我国重要的医疗服务机构,能源管理是医院管理中的重要组成部分。本文将针对医院电气能源管理与节能措施…

关于Qt For android第一次编译时出现的问题

搞了三四天,搞的快崩溃了,问题提示为 FAILURE: Build failed with an exception.* What went wrong: A problem occurred configuring root project android-build. > Could not resolve all artifacts for configuration :classpath.> Could not…