从0搭建DataSphereStudio保姆级教程--复制粘贴即用（hadoop2.7.2、hive2.3.3、spark2.4.5）

news2025/1/10 23:00:11

centos7 部署Hadoop 2.7.2

前置：配置好免密登录

1、安装JDK1.8

yum -y install java-1.8.0-openjdk*

#验证
java -version

2、下载Hadoop2.7.2安装包及解压(可提前下载好直接上传）

mkdir /opt/server
mkdir /opt/software
cd /opt/software
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz
tar -xzvf hadoop-2.7.2.tar.gz
mv hadoop-2.7.2 hadoop
mv hadoop /opt/server

cd /opt/server/hadoop

#创建对应目录
mkdir tmp
mkdir -p hdfs/data
mkdir -p hdfs/name

3、设置Java_Home环境变量

#进入/etc/profile文件中
vim /etc/profile 

#配置java_home环境变量
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.412.b08-1.el7_9.x86_64/jre
export PATH=$PATH:$JAVA_HOME/bin

4、修改hadoop配置文件

#进入配置目录
cd /opt/server/hadoop/etc/hadoop

4.1、core-site.xml

<configuration>
 <property>
   <name>fs.defaultFS</name>
   <value>hdfs://hadoop01:9000</value>
 </property>
 <property>
   <name>io.file.buffer.size</name>
   <value>131072</value>
 </property>
 <property>
   <name>hadoop.tmp.dir</name>
   <value>file:/opt/server/hadoop/tmp</value>
   <description>Abasefor other temporary directories.</description>
 </property>
 <property>
   <name>hadoop.proxyuser.spark.hosts</name>
   <value>*</value>
  </property>
  <property>
   <name>hadoop.proxyuser.spark.groups</name>
   <value>*</value>
  </property>
</configuration>

4.2、hdfs-site.xml

<configuration>
 <property>
   <name>dfs.namenode.secondary.http-address</name>
   <value>hadoop01:9001</value>
 </property>

 <property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/opt/server/hadoop/hdfs/name</value>
 </property>

 <property>
   <name>dfs.datanode.data.dir</name>
   <value>file:/opt/server/hadoop/hdfs/data</value>
 </property>

 <property>
   <name>dfs.replication</name>
   <value>3</value>
 </property>

 <property>
   <name>dfs.webhdfs.enabled</name>
   <value>true</value>
 </property>

</configuration>

4.3、mapred-site.xml

<configuration>
  <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
  </property>
  <property>
     <name>mapreduce.jobhistory.address</name>
     <value>hadoop01:10020</value>
  </property>
  <property>
     <name>mapreduce.jobhistory.webapp.address</name>
     <value>hadoop01:19888</value>
  </property>
</configuration>

4.4、yarn-site.xml

<configuration>
  <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
  </property>
  <property>
     <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
     <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  <property>
     <name>yarn.resourcemanager.address</name>
     <value>hadoop01:8032</value>
  </property>
  <property>
     <name>yarn.resourcemanager.scheduler.address</name>
     <value>hadoop01:8030</value>
  </property>
  <property>
     <name>yarn.resourcemanager.resource-tracker.address</name>
     <value>hadoop01:8035</value>
  </property>
  <property>
     <name>yarn.resourcemanager.admin.address</name>
     <value>hadoop01:8033</value>
  </property>
  <property>
     <name>yarn.resourcemanager.webapp.address</name>
     <value>hadoop01:8088</value>
  </property>
</configuration>

4.5、hadoop-env.sh、yarn-env.sh添加JAVA_HOME路径

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.412.b08-1.el7_9.x86_64/jre

5、配置slaves文件

cd /opt/server/hadoop/etc/hadoop
vim slaves
hadoop01

6、在Master服务器启动hadoop

进入/opt/server/hadoop目录

1)初始化，输入命令 ，./bin/hdfs namenode -format
(2)全部启动 sbin/start-all.sh，也可以分开sbin/start-dfs.sh、sbin/start-yarn.sh、sbin/mr-jobhistory-daemon.sh start historyserver
(3)停止的话，输入命令，sbin/stop-all.sh
(4)输入命令，jps，可以看到相关信息

7、Web访问，要先开放端口或者直接关闭防火墙

(1)输入命令，systemctl stop firewalld.service
(2)浏览器打开 http://hadoop01:8088/
(3)浏览器打开 http://hadoop01:50070/

centos7 部署Hive2.3.3

1.下载

hive2.3.3下载

https://archive.apache.org/dist/hive/hive-2.3.3/

下载后上传到/opt/server

#创建文件夹
mkdir -p /opt/server/
cd /opt/server/

#解压
tar -zxvf apache-hive-2.3.3-bin.tar.gz
mv apache-hive-2.3.3-bin hive

#配置环境变量
vim /etc/profile
末尾追加
export  HIVE_HOME=/opt/server/hive
export  PATH=$PATH:$HIVE_HOME/bin
重新编译环境变量生效
source /etc/profile

2.修改Hive文件

2.1修改hive-env.sh
cd /opt/server/hive/conf
cp hive-env.sh.template hive-env.sh 
vim hive-env.sh 
# HADOOP_HOME=${bin}/../../hadoop
打开注释修改 HADOOP_HOME=/opt/server/hadoop
# export HIVE_CONF_DIR=
打开注释修改 HIVE_CONF_DIR=/opt/server/hive/conf
2.2 修改hive-log4j.properties

修改hive的log存放日志到/opt/server/hive/logs

cp hive-log4j2.properties.template hive-log4j2.properties
vim hive-log4j2.properties
找到 property.hive.log.dir = ${sys:java.io.tmpdir}/${sys:user.name}
修改 property.hive.log.dir = /opt/server/hive/logs

3、配置MySQL作为Metastore

默认情况下, Hive的元数据保存在了内嵌的 derby 数据库里, 但一般情况下生产环境使用 MySQL 来存放 Hive 元数据。

3.1、安装mysql（版本必须是5.5+）

略

安装mysql，拷贝 mysql-connector-java-5.1.9-bin.jar 放入 $HIVE_HOME/lib 下。
cp mysql-connector-java-5.1.9.jar  /opt/server/hive/lib/
3.2、修改配置文件
cp hive-default.xml.template hive-site.xml
vim hive-site.xml

删除命令：光标在configuration的下一行,输入：.,$-1d (光标所在行到 倒数第二行）回车，进行如下编辑

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration> 
<!--Hive作业的HDFS根目录位置 --> 
<property>
    <name>hive.exec.scratchdir</name>
    <value>/user/hive/tmp</value>
</property>
<!--Hive作业的HDFS根目录创建写权限 --> 
<property>
    <name>hive.scratch.dir.permission</name>
    <value>733</value>
</property>
<!--hdfs上hive元数据存放位置 --> 
<property>  
  <name>hive.metastore.warehouse.dir</name>  
  <value>/user/hive/warehouse</value>   
</property>
<!--连接数据库地址，名称 -->  
<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://hadoop01:3306/hive?createDatabaseIfNotExist=true</value>  
</property>  
<!--连接数据库驱动 --> 
<property>
  <name>javax.jdo.option.ConnectionDriverName</name>  
  <value>com.mysql.jdbc.Driver</value>  
</property> 
<!--连接数据库用户名称 -->  
<property>  
  <name>javax.jdo.option.ConnectionUserName</name>  
  <value>hive</value>
</property> 
<!--连接数据库用户密码 -->  
<property>  
  <name>javax.jdo.option.ConnectionPassword</name>  
  <value>hive</value>
</property>
<!--客户端显示当前查询表的头信息 --> 
 <property>
  <name>hive.cli.print.header</name>
  <value>true</value>
</property>
<!--客户端显示当前数据库名称信息 --> 
<property>
  <name>hive.cli.print.current.db</name>
  <value>true</value>
</property> 
</configuration>
3.3 mysql创建hive用户密码
#   不同版本的mysql语法不一样，此处是mysql5.7.22
mysql> CREATE DATABASE hive; 
mysql> USE hive; 
mysql> CREATE USER 'hive'@'localhost' IDENTIFIED BY 'hive';
mysql> GRANT ALL ON hive.* TO 'hive'@'localhost' IDENTIFIED BY 'hive'; 
mysql> GRANT ALL ON hive.* TO 'hive'@'%' IDENTIFIED BY 'hive'; 
mysql> FLUSH PRIVILEGES; 
mysql> quit;

4 运行Hive

4.1初始化数据库

从Hive 2.1开始，我们需要运行下面的schematool命令作为初始化步骤。例如，这里使用“mysql”作为db类型。

schematool -dbType mysql -initSchema

终端输出如下信息

SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/module/hive-2.3.3/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/module/hadoop-2.7.6/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Metastore connection URL:     jdbc:mysql://node21/hive?createDatabaseIfNotExist=true
Metastore Connection Driver :     com.mysql.jdbc.Driver
Metastore connection User:     hive
Starting metastore schema initialization to 2.3.0
Initialization script hive-schema-2.3.0.mysql.sql
Initialization script completed
schemaTool completed
4.2 启动 Hive 客户端

命令行执行

hive

centos7 部署Spark2.4.5

1.下载

spark2.4.5下载

https://archive.apache.org/dist/spark/spark-2.4.5/

下载后上传到/opt/server

#创建文件夹
mkdir -p /opt/server/
cd /opt/server/

#解压
tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz
mv spark-2.4.5-bin-hadoop2.7 spark

2.配置spark

1)、spark-env.sh

cd /opt/server/spark/conf
cp spark-env.sh.template spark-env.sh
vim spark-env.sh

HADOOP_CONF_DIR=/opt/server/hadoop/etc/hadoop
YARN_CONF_DIR=/opt/server/hadoop/etc/hadoop
JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.412.b08-1.el7_9.x86_64/jre

SPARK_MASTER_HOST=hadoop01
SPARK_MASTER_PORT=7077
SPARK_MASTER_WEBUI_PORT=8080
SPARK_WORKER_CORES=1
SPARK_WORKER_MEMORY=1g
SPARK_WORKER_PORT=7078
SPARK_WORKER_WEBUI_PORT=8081
SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://hadoop01:9000/spar
k/eventLogs/ -Dspark.history.fs.cleaner.enabled=true"

2)、slaves

cp slaves.template slaves
vi slaves
 
删除localhost 新增
hadoop01

3)、spark-defaults.conf

cp spark-defaults.conf.template spark-defaults.conf
vim spark-defaults.conf
 
spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoop01:9000/spark/eventLogs/
spark.eventLog.compress true
spark.yarn.historyServer.address hadoop01:18080
spark.history.ui.port 18080
spark.history.fs.logDirectory hdfs://hadoop01:9000/spark/eventLogs/

4)、log4j.properties

cp log4j.properties.template log4j.properties
vim log4j.properties

# 只修改这一行
log4j.rootCategory=WARN, console

3、配置spark环境变量

vi /etc/profile
 
export SPARK_HOME=/opt/server/spark
export PATH=$SPARK_HOME/bin/:$SPARK_HOME/sbin/
source /etc/profile
4、创建spark目录日志，配置SparkJar
hdfs dfs -mkdir -p /spark/eventLogs/

hdfs dfs -mkdir -p /spark/apps/jars/    #jar包存放目录
hdfs dfs -put /opt/server/spark/jars/* /spark/apps/jars/ 
hdfs dfs -put /opt/server/spark/examples/jars/* /spark/apps/jars/

5、启动

1)、重启hadoop

cd /opt/server/hadoop/sbin
./stop-all.sh
./start-all.sh
 
另外启动日志服务：
./mr-jobhistory-daemon.sh start historyserver

2)、启动spark

cd /opt/server/spark/sbin
 
./start-all.sh
 
另外启动spark日志服务：
./start-history-server.sh 


#查看服务
jps

[root@hadoop01 spark]# jps
2164 SecondaryNameNode
2325 ResourceManager
8149 Master
8229 Worker
1864 NameNode
2792 JobHistoryServer
1994 DataNode
13357 Jps
2607 NodeManager

6、测试

1)、测试spark

/opt/server/spark/bin/spark-submit --master yarn --class org.apache.spark.examples.SparkPi /opt/server/spark/examples/jars/spark-examples_2.11-2.4.5.jar 10

# 如果不报错出现 Pi is roughly 3.1423111423111423 则运行成功。

解决Centos7下的python2.7默认不带pip工具

1.yum安装
yum install python-pip

如果报无法找到该软件包，则先安装epel再安装pip

yum -y install epel-release

yum install python-pip
2.升级安装好的pip
pip install --upgrade pip

如果升级过程中由于网路问题导致升级失败，可以尝试添加加速源升级

pip install --upgrade pip -i http://pypi.douban.com/simple

测试安装结果

pip -V

如果以上还没解决，将python升级成3.0+版本

将centos7默认的python2.7升级成python3.0+版本

1.yum更新

yum update

2.下载与安装python3

建立新目录

sudo mkdir /usr/local/python3

下载依赖包

yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make libffi-devel

下载安装包

cd /usr/local/python3
wget --no-check-certificate https://www.python.org/ftp/python/3.9.0/Python-3.9.0.tgz

解压安装包 tar

# 解压压缩包
tar -zxvf Python-3.9.0.tgz

编译安装

# 进入文件夹
cd Python-3.9.0

# 配置安装位置
./configure prefix=/usr/local/python3

# 安装
make && make install

3、修改系统的默认Python编译器

删除默认Python软连接

cd /usr/local/python/Python-3.0.9
[root@centos-moxc bin]# rm -rf /usr/bin/python
[root@centos-moxc bin]# ln -s /usr/local/python3/bin/python3.9 /usr/bin/python
[root@centos-moxc bin]# ln -s /usr/local/python3/bin/pip3.9 /usr/bin/pip3
[root@centos-moxc bin]# python3 -V
Python 3.9.0
[root@centos-moxc bin]# pip3 -V
pip 20.2.3 from /usr/local/python3/lib/python3.9/site-packages/pip (python 3.9)

# 查看软连接指向
[root@centos-moxc bin]# ll /usr/bin/ |grep python
-rwxr-xr-x  1 root root      11240 Apr  2  2020 abrt-action-analyze-python
lrwxrwxrwx  1 root root         29 Nov 14 01:04 pip3 -> /usr/local/python3/bin/pip3.9
lrwxrwxrwx  1 root root          7 Sep  3 11:48 python -> python2
lrwxrwxrwx  1 root root          9 Sep  3 11:48 python2 -> python2.7
-rwxr-xr-x  1 root root       7144 Apr  2  2020 python2.7
lrwxrwxrwx  1 root root         32 Nov 14 01:04 python3 -> /usr/local/python3/bin/python3.9
[root@centos-moxc bin]# ll /usr/bin/ |grep pip
-rwxr-xr-x. 1 root root       2291 Jul 31  2015 lesspipe.sh
lrwxrwxrwx  1 root root         29 Nov 14 01:04 pip3 -> /usr/local/python3/bin/pip3.9

5、升级pip

python -m pip install --upgrade pip

6、修改.bashrc文件添加PATH环境变量

vim ~/.bashrc

在内容中最后一行添上：

export PATH=/usr/local/python3/bin/:$PATH

环境变量配置生效：

source ~/.bashrc

7、查看pip版本

pip -V

8、yum报错解决

vim /usr/bin/yum

将yum文件内容中第一行的#!/usr/bin/python 改为:

#!/usr/bin/python2

若yum update报错，需将 /usr/libexec/urlgrabber-ext-down 文件的第一行也改为 #!/usr/bin/python2.7

启动命令：

hadoop：

sbin/start-all.sh
sbin/mr-jobhistory-daemon.sh start historyserver

spark:

sbin/start-all.sh
 
另外启动spark日志服务：
sbin/start-history-server.sh

部署DataSphere Studio & Linkis 单机一键部署文档

1.验证hadoop、hive、spark

hdfs dfs -ls /
hive -e "show databases"
spark-sql -e "show databases"

2.如果用户的Pyspark想拥有画图功能，则还需在所有安装节点，安装画图模块。命令如下：

python3 -m pip install matplotlib

3.准备安装包（DSS Release-1.1.1）

下载链接：DSS Release-1.1.1

DSS & Linkis 一键安装部署包的层级目录结构如下：

├── dss_linkis # 一键部署主目录
  ├── bin # 用于一键安装，以及一键启动 DSS + Linkis
  ├── conf # 一键部署的参数配置目录
  ├── wedatasphere-dss-x.x.x-dist.tar.gz # DSS后端安装包
  ├── wedatasphere-dss-web-x.x.x-dist.zip # DSS前端和Linkis前端安装包
  ├── wedatasphere-linkis-x.x.x-dist.tar.gz # Linkis后端安装包

注意：将下载好的包 上传到/opt/software/并解压到/opt/server/目录下

4.修改配置

  • 用户需要对 xx/dss_linkis/conf 目录下的 config.sh 和 db.sh 进行修改。
  • 打开 config.sh，按需修改相关配置参数，参数说明如下：
#################### 一键安装部署的基本配置 ####################

### deploy user（部署用户，默认为当前登录用户）
deployUser=root

### Linkis_VERSION
LINKIS_VERSION=1.1.1

### DSS Web（本机安装一般无需修改，但需确认此端口是否占用，若被占用，修改一个可用端口即可）
DSS_NGINX_IP=127.0.0.1
DSS_WEB_PORT=8085

### DSS VERSION
DSS_VERSION=1.1.1


############## linkis的其他默认配置信息 start ############## 
### Specifies the user workspace, which is used to store the user's script files and log files.
### Generally local directory
##file:// required. 指定用户使用的目录路径，一般用于存储用户的脚本文件和日志文件等，是用户的工作空间
WORKSPACE_USER_ROOT_PATH=file:///tmp/linkis/ 
### User's root hdfs path
##hdfs:// required. 结果集日志等文件路径，用于存储Job的结果集文件
HDFS_USER_ROOT_PATH=hdfs:///tmp/linkis 
### Path to store job ResultSet:file or hdfs path
##hdfs:// required. 结果集日志等文件路径，用于存储Job的结果集文件，如果未配置 使用HDFS_USER_ROOT_PATH的配置
RESULT_SET_ROOT_PATH=hdfs:///tmp/linkis 

### Path to store started engines and engine logs, must be local. 存放执行引擎的工作路径，需要部署用户有写权限的本地目录
ENGINECONN_ROOT_PATH=/appcom/tmp

### 基础组件环境信息
###HADOOP CONF DIR #/appcom/config/hadoop-config（用户根据实际情况修改）
HADOOP_CONF_DIR=/opt/server/hadoop/etc/hadoop
###HIVE CONF DIR  #/appcom/config/hive-config（用户根据实际情况修改）
HIVE_CONF_DIR=/opt/server/hive/conf
###SPARK CONF DIR #/appcom/config/spark-config（用户根据实际情况修改）
SPARK_CONF_DIR=/opt/server/spark/conf
###for install （用户根据实际情况修改）
LINKIS_PUBLIC_MODULE=lib/linkis-commons/public-module

##YARN REST URL spark engine required（根据实际情况修改IP和端口）
YARN_RESTFUL_URL=http://hadoop01:8088


## Engine version
#SPARK_VERSION（根据实际版本情况修改版本号）
SPARK_VERSION=2.4.5
##HIVE_VERSION（根据实际版本情况修改版本号）
HIVE_VERSION=2.3.3
##PYTHON_VERSION（根据实际版本情况修改版本号）
PYTHON_VERSION=python3

## LDAP is for enterprise authorization, if you just want to have a try, ignore it.
#LDAP_URL=ldap://localhost:1389/
#LDAP_BASEDN=dc=webank,dc=com
#LDAP_USER_NAME_FORMAT=cn=%s@xxx.com,OU=xxx,DC=xxx,DC=com

############## linkis的其他默认配置信息 end ##############


################### The install Configuration of all Linkis's Micro-Services #####################
################### 用户可以根据实际情况修改IP和端口 ###################
#
#    NOTICE:
#       1. If you just wanna try, the following micro-service configuration can be set without any settings.
#            These services will be installed by default on this machine.
#       2. In order to get the most complete enterprise-level features, we strongly recommend that you install
#          the following microservice parameters
#

###  EUREKA install information
###  You can access it in your browser at the address below:http://${EUREKA_INSTALL_IP}:${EUREKA_PORT}
###  Microservices Service Registration Discovery Center
LINKIS_EUREKA_INSTALL_IP=127.0.0.1
LINKIS_EUREKA_PORT=9600
#LINKIS_EUREKA_PREFER_IP=true

###  Gateway install information
#LINKIS_GATEWAY_INSTALL_IP=127.0.0.1
为了防止端口被占用，此处由9001修改9011
LINKIS_GATEWAY_PORT=9011

### ApplicationManager
#LINKIS_MANAGER_INSTALL_IP=127.0.0.1
LINKIS_MANAGER_PORT=9101

### EngineManager
#LINKIS_ENGINECONNMANAGER_INSTALL_IP=127.0.0.1
LINKIS_ENGINECONNMANAGER_PORT=9102

### EnginePluginServer
#LINKIS_ENGINECONN_PLUGIN_SERVER_INSTALL_IP=127.0.0.1
LINKIS_ENGINECONN_PLUGIN_SERVER_PORT=9103

### LinkisEntrance
#LINKIS_ENTRANCE_INSTALL_IP=127.0.0.1
LINKIS_ENTRANCE_PORT=9104

###  publicservice
#LINKIS_PUBLICSERVICE_INSTALL_IP=127.0.0.1
LINKIS_PUBLICSERVICE_PORT=9105

### cs
#LINKIS_CS_INSTALL_IP=127.0.0.1
LINKIS_CS_PORT=9108

########## Linkis微服务配置完毕 ##########

################### The install Configuration of all DataSphereStudio's Micro-Services #####################
#################### 非注释的参数必须配置，注释掉的参数可按需修改 #################### 
#    NOTICE:
#       1. If you just wanna try, the following micro-service configuration can be set without any settings.
#            These services will be installed by default on this machine.
#       2. In order to get the most complete enterprise-level features, we strongly recommend that you install
#          the following microservice parameters
#

# 用于存储发布到 Schedulis 的临时ZIP包文件
WDS_SCHEDULER_PATH=file:///appcom/tmp/wds/scheduler
### DSS_SERVER
### This service is used to provide dss-server capability.

### project-server
#DSS_FRAMEWORK_PROJECT_SERVER_INSTALL_IP=127.0.0.1
#DSS_FRAMEWORK_PROJECT_SERVER_PORT=9002
### orchestrator-server
#DSS_FRAMEWORK_ORCHESTRATOR_SERVER_INSTALL_IP=127.0.0.1
#DSS_FRAMEWORK_ORCHESTRATOR_SERVER_PORT=9003
### apiservice-server
#DSS_APISERVICE_SERVER_INSTALL_IP=127.0.0.1
#DSS_APISERVICE_SERVER_PORT=9004
### dss-workflow-server
#DSS_WORKFLOW_SERVER_INSTALL_IP=127.0.0.1
#DSS_WORKFLOW_SERVER_PORT=9005
### dss-flow-execution-server
#DSS_FLOW_EXECUTION_SERVER_INSTALL_IP=127.0.0.1
#DSS_FLOW_EXECUTION_SERVER_PORT=9006
###dss-scriptis-server
#DSS_SCRIPTIS_SERVER_INSTALL_IP=127.0.0.1
#DSS_SCRIPTIS_SERVER_PORT=9008
########## DSS微服务配置完毕#####


############## other default configuration 其他默认配置信息  ############## 

## java application default jvm memory（Java应用的堆栈大小。如果部署机器的内存少于8G，推荐128M；
## 达到16G时，推荐至少256M；如果想拥有非常良好的用户使用体验，推荐部署机器的内存至少达到32G）
export SERVER_HEAP_SIZE="128M"

##sendemail配置，只影响DSS工作流中发邮件功能
EMAIL_HOST=smtp.163.com
EMAIL_PORT=25
EMAIL_USERNAME=xxx@163.com
EMAIL_PASSWORD=xxxxx
EMAIL_PROTOCOL=smtp

### Save the file path exported by the orchestrator service
ORCHESTRATOR_FILE_PATH=/appcom/tmp/dss
### Save DSS flow execution service log path
EXECUTION_LOG_PATH=/appcom/tmp/dss
############## other default configuration 其他默认配置信息 ##############
  • 修改数据库配置。请确保配置的数据库，安装机器可以正常访问，否则将会出现 DDL 和 DML 导入失败的错误，打开 db.sh，按需修改相关配置参数，参数说明如下：
### 配置DSS数据库
MYSQL_HOST=192.168.182.139
MYSQL_PORT=3306
MYSQL_DB=dss
MYSQL_USER=root
MYSQL_PASSWORD=root

## Hive metastore的数据库配置，用于Linkis访问Hive的元数据信息
HIVE_HOST=192.168.182.139
HIVE_PORT=10000
HIVE_DB=hive
HIVE_USER=hive
HIVE_PASSWORD=hive

5、安装和使用

1.停止机器上所有DSS及Linkis服务
  • 若从未安装过DSS及Linkis服务，忽略此步骤
2.将当前目录切换到bin目录
cd xx/dss_linkis/bin
3.执行安装脚本
sh install.sh

  • 该安装脚本会检查各项集成环境命令，如果没有请按照提示进行安装，以下命令为必须项：

    yum; java; mysql; unzip; expect; telnet; tar; sed; dos2unix; nginx

  • 安装时，脚本会询问您是否需要初始化数据库并导入元数据，Linkis 和 DSS 均会询问，第一次安装必须选是

  • 通过查看控制台打印的日志信息查看是否安装成功，如果有错误信息，可以查看具体报错原因

  • 除非用户想重新安装整个应用，否则该命令执行一次即可

4.启动服务

  • 若用户的Linkis安装包是通过自己编译获取且用户想启用数据源管理功能，那么就需要去修改配置以启动该项功能，使用下载的安装包无需操作

    ## 切换到Linkis配置文件目录
cd xx/dss_linkis/linkis/conf

## 打开配置文件linkis-env.sh
vi linkis-env.sh

## 将如下配置改为true
export ENABLE_METADATA_MANAGER=true

  • 若用户的Linkis安装包是通过自己编译获取，在启动服务前尽量将后续用到的密码改成和部署用户名一致，使用下载的安装包无需操作

    ## 切换到Linkis配置文件目录
cd xx/dss_linkis/linkis/conf/

## 打开配置文件linkis-mg-gateway.properties
vi linkis-mg-gateway.properties

## 修改密码
wds.linkis.admin.password=hadoop

  • 在xx/dss_linkis/bin目录下执行启动服务脚本

    sh start-all.sh

  • 如果启动产生了错误信息，可以查看具体报错原因。启动后，各项微服务都会进行通信检测，如果有异常则可以帮助用户定位异常日志和原因

5.安装默认Appconn
# 切换目录到dss，正常情况下dss目录就在xx/dss_linkis目录下，
cd xx/dss_linkis/dss/bin

# 执行启动默认Appconn脚本
sh install-default-appconn.sh
  • 该命令执行一次即可，除非用户想重新安装整个应用
6.查看验证是否成功

  • 用户可以在Eureka界面查看 Linkis & DSS 后台各微服务的启动情况，默认情况下DSS有7个微服务，Linkis有10个微服务(包括启用数据源管理功能后的两个微服务) （Eureka地址在xx/dss_linkis/conf/config.sh有配置）

  • 用户可以使用谷歌浏览器访问以下前端地址：http://DSS_NGINX_IP:DSS_WEB_PORT 启动日志会打印此访问地址（在xx/dss_linkis/conf/config.sh中也配置了此地址）。登陆时默认管理员的用户名和密码均为部署用户为hadoop（用户若想修改密码，可以通过修改 xx/dss_linkis/linkis/conf/linkis-mg-gateway.properties 文件中的 wds.linkis.admin.password 参数)

7.停止服务
sh stop-all.sh

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2274582.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【Maui】导航栏样式调整

【Maui】导航栏样式调整

前言 .NET 多平台应用 UI (.NET MAUI) 是一个跨平台框架&#xff0c;用于使用 C# 和 XAML 创建本机移动和桌面应用。 使用 .NET MAUI&#xff0c;可从单个共享代码库开发可在 Android、iOS、macOS 和 Windows 上运行的应用。 .NET MAUI 是一款开放源代码应用&#xff0c;是 X…
阅读更多...
uniapp 微信小程序内嵌h5实时通信

uniapp 微信小程序内嵌h5实时通信

描述&#xff1a; 小程序webview内嵌的h5需要向小程序实时发送消息&#xff0c;有人说postMessage可以实现&#xff0c;所以试验一下&#xff0c;结果是实现不了实时&#xff0c;只能在特定时机后退、组件销毁、分享时小程序才能接收到信息&#xff08;小程序为了安全等考虑做了…
阅读更多...
腾讯云AI代码助手编程挑战赛-厨房助手之AI大厨

腾讯云AI代码助手编程挑战赛-厨房助手之AI大厨

腾讯云AI代码助手编程挑战赛-厨房助手之AI大厨 作品简介 身处当今如火箭般迅猛发展的互联网时代&#xff0c;智能聊天助手已然化身成为提升用户体验的关键利器&#xff0c;全方位渗透至人们的数字生活。 紧紧跟随着这股汹涌澎湃的时代浪潮&#xff0c;我毅然投身于极具挑战性…
阅读更多...
网易云音乐登录两部手机：IP属地归属何方？

网易云音乐登录两部手机：IP属地归属何方？

在数字化生活日益普及的今天&#xff0c;音乐平台成为了我们日常娱乐不可或缺的一部分。网易云音乐&#xff0c;作为众多音乐爱好者的首选&#xff0c;其丰富的音乐资源和个性化的推荐算法深受用户喜爱。然而&#xff0c;随着多设备登录成为常态&#xff0c;一个问题也随之浮现…
阅读更多...
[工具]git克隆远程仓库到本地快速操作流程

[工具]git克隆远程仓库到本地快速操作流程

一、新建空目录 二、初始化本地仓库 git init 初始化成功后&#xff0c;会在当前目录生成一个.git的目录。 三、关联远程仓库 git remote add origin <URL>这一步让本地仓库与远程仓库进行关联&#xff0c;origin是远程仓库的别名&#xff0c;可以自定义。 四、克隆…
阅读更多...
如何在 Ubuntu 22.04 上集成 Collabora Online 教程

如何在 Ubuntu 22.04 上集成 Collabora Online 教程

简介 在本教程中&#xff0c;我们将详细讲解如何在 Ubuntu 22.04 操作系统上安装 Collabora Online。 Collabora Online 是一个基于 LibreOffice 技术的开源办公套件。它提供了许多功能&#xff0c;其中最有用的一个功能是 Collabora 提供了 Word 文档、电子表格、演示文稿等…
阅读更多...
Linux的内核空间中的日志打印函数printk的详解；如果设置`printk` 函数的默认日志级别和是否输出到终端控制台

Linux的内核空间中的日志打印函数printk的详解；如果设置`printk` 函数的默认日志级别和是否输出到终端控制台

引言 首先&#xff0c;要知道&#xff0c;内核空间是没有printf函数的&#xff0c;printf函数是是用户空间的标准 I/O 函数&#xff0c;而不是内核空间中的。 所以在运行于内核空间的程序中(比如驱动程序)&#xff0c;是不能使用printf函数的&#xff0c;但有时候我们又需要打…
阅读更多...
Python编程实例-特征向量与特征值编程实现

Python编程实例-特征向量与特征值编程实现

特征向量与特征值编程实现 文章目录 特征向量与特征值编程实现1、什么是特征向量2、特征向量背后的直觉3、为什么特征向量很重要？4、如何计算特征向量？4、特征向量Python实现5、可视化特征向量6、总结线性代数是许多高级数学概念的基石，广泛应用于数据科学、机器学习、计算机…
阅读更多...
202-01-06 Unity 使用 Tip1 —— UnityHub 模块卸载重装

202-01-06 Unity 使用 Tip1 —— UnityHub 模块卸载重装

文章目录 1 卸载模块2 更新配置文件3 重启 UnityHub 起因&#xff1a; ​ WebGL 平台打包程序报错&#xff0c;懒得修复了&#xff0c;因此粗暴地删了重装。但是 UnityHub 不支持卸载模块&#xff0c;因此手动配置。 1 卸载模块 ​ 以 Unity 6000.0.26f1c1 为例&#xff0c;其…
阅读更多...
Git的简单介绍与如何安装Git

Git的简单介绍与如何安装Git

文章目录 前言一、初始git1.git是什么2.为什么要使用git(出现的问题)3.git是如何解决问题的 二、git的安装与卸载1.centos系统2.ubuntu系统3.windows 三、搭建git本地环境1.创建git本地仓库2.配置用户信息 总结 前言 本文简单引入git的相关内容。 一、初始git 1.git是什么 g…
阅读更多...
Linux 进程入门：带你走进操作系统的核心地带（1）

Linux 进程入门：带你走进操作系统的核心地带（1）

&#x1f31f; 快来参与讨论&#x1f4ac;&#xff0c;点赞&#x1f44d;、收藏⭐、分享&#x1f4e4;&#xff0c;共创活力社区。&#x1f31f; &#x1f6a9;用通俗易懂且不失专业性的文字&#xff0c;讲解计算机领域那些看似枯燥的知识点&#x1f6a9; 在 Linux 操作系…
阅读更多...
C#版OpenCv常用函数大全

C#版OpenCv常用函数大全

OpenCvSharp 是 OpenCV 的NET封装&#xff0c;提供了丰富的图像处理和计算机视觉功能。以下是一些常用函数及其详细说明。 1. 图像读取与显示 Cv2.ImRead 功能&#xff1a;读取图像文件并返回一个 Mat 对象。用法&#xff1a;Mat image Cv2.ImRead("path/to/image.jpg&…
阅读更多...
【初阶数据结构】线性表之单链表

【初阶数据结构】线性表之单链表

文章目录 前言 一、单链表的概念与结构 1.概念 2.结点 3.性质 二、实现单链表 1.结构的定义 2.链表的打印和结点的申请 3.单链表的尾插和头插 4.单链表的尾删和头删 5.单链表的查找 6.指定位置之前插入数据和指定位置之后插入数据 7.删除pos结点和删除pos之后的结…
阅读更多...
DB-Engines Ranking 2025年1月数据库排行

DB-Engines Ranking 2025年1月数据库排行

DB-Engines Ranking 2025年1月数据库排行 DB-Engines排名根据数据库管理系统的受欢迎程度进行排名。排名每月更新一次。 2025年1月&#xff0c;共有423个数据库进入排行。 排行榜 Oracle Oracle 连续三月稳居榜首&#xff0c;排名稳定。2025 年 1 月分数较上月增 5.03&#x…
阅读更多...
Hadoop3.x 万字解析，从入门到剖析源码

Hadoop3.x 万字解析，从入门到剖析源码

&#x1f496; 欢迎来到我的博客&#xff01; 非常高兴能在这里与您相遇。在这里&#xff0c;您不仅能获得有趣的技术分享&#xff0c;还能感受到轻松愉快的氛围。无论您是编程新手&#xff0c;还是资深开发者&#xff0c;都能在这里找到属于您的知识宝藏&#xff0c;学习和成长…
阅读更多...
鸿蒙的APP真机调试以及发布

鸿蒙的APP真机调试以及发布

目录&#xff1a; 1、创建好鸿蒙项目2、创建AGC项目3、实现自动签名3.1、手动方式创建签名文件和密码 4、运行项目5、无线真机调试 1、创建好鸿蒙项目 2、创建AGC项目 &#xff08;1&#xff09;在File->Project Structure->Project->Signing Configs中进行登录。(未…
阅读更多...
Swin Transformer模型详解(附pytorch实现)

Swin Transformer模型详解(附pytorch实现)

写在前面 Swin Transformer&#xff08;Shifted Window Transformer&#xff09;是一种新颖的视觉Transformer模型&#xff0c;在2021年由微软亚洲研究院提出。这一模型提出了一种基于局部窗口的自注意力机制&#xff0c;显著改善了Vision Transformer&#xff08;ViT&#xf…
阅读更多...
穷举vs暴搜vs深搜vs回溯vs剪枝系列一＞字母大小写全排列

穷举vs暴搜vs深搜vs回溯vs剪枝系列一＞字母大小写全排列

题目&#xff1a; 解析&#xff1a; 代码&#xff1a; private List<String> ret;private StringBuffer path;public List<String> letterCasePermutation(String s) {ret new ArrayList<>();path new StringBuffer();dfs(s,0);return ret;}private voi…
阅读更多...
LabVIEW软件侵权分析与应对

LabVIEW软件侵权分析与应对

问&#xff1a;如果涉及到LabVIEW软件的仿制或模仿&#xff0c;特别是在功能、界面等方面&#xff0c;如何判断是否构成侵权&#xff1f;该如何应对&#xff1f; 答&#xff1a;LabVIEW软件的侵权问题&#xff0c;尤其是在涉及到仿制或模仿其功能、界面、设计等方面&#xff0…
阅读更多...
玩转 JMeter：Random Order Controller让测试“乱”出花样

玩转 JMeter：Random Order Controller让测试“乱”出花样

嘿&#xff0c;各位性能测试的小伙伴们&#xff01;今天咱要来唠唠 JMeter 里超级有趣又超实用的 Random Order Controller&#xff08;随机顺序控制器&#xff09;&#xff0c;它就像是性能测试这场大戏里的“魔术棒”&#xff0c;轻轻一挥&#xff0c;就能让测试场景变得千变…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023