【Spark】win10配置IDEA、saprk、hadoop和scala

news2025/1/11 5:54:10

终于，要对并行计算下手了哈哈哈。

一直讲大数据大数据，我单次数据处理量大概在1t上下，是过亿级的轨迹数据。
用python调用multiprogress编写的代码，用多线程也要一个多月跑完。
我对这个效率不太满意，希望能快一点再快一点，这是学习Spark的前提。

安装过程见：
spark出pyspark了，可直接用python调用。但是我想接触下scala。所以先装scala试试。

博客园：windows上安装和运行spark scala
Spark简单介绍，Windows下安装Scala+Hadoop+Spark运行环境，集成到IDEA中

下面采用的是博客园的步骤。先IDEA，再saprk、hadoop、scala。
第二个微信链接，是先scala、hadoop，再spark。都可以

安装jdk

安装intelj IDEA，配置scala插件

wechat文章：2023最新版IntelliJ IDEA安装教程（非常详细）从零基础入门到精通，看完这一篇就够了

安装spark

https://archive.apache.org/dist/spark/spark-3.5.0/ 官网下也可以
这里需要注意的是验证部门，也就是解压完spark文件后，官方提醒要验证一下下载包是否有错。参考下面链接step4
How to Install Apache Spark on Windows 10：https://phoenixnap.com/kb/install-spark-on-windows-10

在这里插入图片描述

安装hadoop

https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.6/hadoop-3.3.6-src.tar.gz
需要注意的是，带【src.tar.gz】下载解压后的hadoop没有bin文件，要去https://gitcode.net/mirrors/cdarlint/winutils/-/tree/master/hadoop-3.3.5/bin选择版本下载补充。（我不理解为什么）
3.3.6是最新版本hadoop，但是上面gitcode库中，bin更新到3.3.5，所以注意版本
https://downloads.apache.org/hadoop/common/hadoop-3.3.5/
另一个方法是在https://downloads.apache.org/hadoop/common/hadoop-3.3.6/，选择【tar.gz】结尾的文件，也就是几百兆的那个，很大的。里面自带bin文件
具体可见Spark简单介绍，Windows下安装Scala+Hadoop+Spark运行环境，集成到IDEA中中安装hadoop的
如果在cmd验证时，输入hadoop，显示有一个错误是Error: JAVA_HOME is incorrectly set。解决方法一：
Error: JAVA_HOME is incorrectly set. Please update F:\hadoop\conf\hadoop-env.cmd解决方法。

环境变量设置java_home办法：JAVA_HOME环境变量的配置（Win10系统）
随后关掉cmd再重新打开输入hadoop，不会报错了。

安装scala SDK

scala和spark版本对应，看这个链接：https://mvnrepository.com/artifact/org.apache.spark/spark-core
我3.5对应scala的2.12或者2.13。然后去官网下载，配好环境变量就行
https://www.scala-lang.org/download/all.html