Linux的Spark 环境部署

news2025/1/17 21:46:29

前言:需自行准备hadoop集群

1. Spark 是一款分布式内存计算引擎，可以支撑海量数据的分布式计算。 Spark 在大数据体系是明星产品，作为最新一代的综合计算引擎，支持离线计算和实时计算。在大数据领域广泛应用，是目前世界上使用最多的大数据分布式计算引擎。我们将基于前面构建的 Hadoop 集群，部署 Spark Standalone 集群。

2.安装

spark镜像安装https://mirrors.aliyun.com/apache/spark/spark-3.5.3/?spm=a2c6h.25603864.0.0.12d22104b1PXSX

3.解压: 命令: tar -zxvf spark-3.5.3-bin-hadoop3.tgz -C /export/server/

4.创建软连接命令: ln -s /export/server/spark-3.5.3-bin-hadoop3 /export/server/spark

5.改名

命令: cd /export/server/spark/conf
mv spark-env.sh.template spark-env.sh
mv workers.template workers

6.修改配置文件， spark-env.sh

加入:

JAVA_HOME=/export/server/jdk
HADOOP_CONF_DIR=/export/server/hadoop/etc/hadoop
YARN_CONF_DIR=/export/server/hadoop/etc/hadoop
export SPARK_MASTER_HOST=wtk
export SPARK_MASTER_PORT=7077
SPARK_MASTER_WEBUI_PORT=8080
SPARK_WORKER_CORES=1
SPARK_WORKER_MEMORY=1g

7.修改配置文件，workers

清空加入:

各个主机名

8.分发到各个主机

命令 scp -r /export/server/spark-3.5.3-bin-hadoop3 wtk1:/export/server/

部分文件:

9.给分配主机创建软连接

命令: ln -s /export/server/spark-3.5.3-bin-hadoop3 /export/server/spark

10.启动spark

命令: /export/server/spark/sbin/start-all.sh

11.验证:

打开spark监控页面

主机ip:8081

我的是192.168.10.130:8081

提交测试任务:(执行以下脚本,主机名自行修改):

/export/server/spark/bin/spark-submit --master spark://wtk:7077 --class org.apache.spark.examples.SparkPi /export/server/spark-3.5.3-bin-hadoop3/examples/jars/spark-examples_2.12-3.5.3.jar examples_2.11-2.4.5.jark