windows搭建pyspark环境详细教程

news2024/12/28 2:58:33

一.安装jdk及配置环境变量:
下载地址:
https://www.oracle.com/java/technologies/downloads/#java8-windows
安装步骤:
在这里插入图片描述
下载后点击安装,中途可以自定义安装路径,最后查看安装路径:

开始配置系统环境变量:
在这里插入图片描述
在系统变量中新建:
变量名: JAVA_HOME
变量值:D:\jdk 也就是jdk的安装路径
确认后,打开cmd,输入java version,出现如下界面:
在这里插入图片描述
说明java系统环境变量已配好。

二.安装spark及配置环境变量:
下载地址:
https://archive.apache.org/dist/spark/
点击想安装的版本(我安装的是spark-3.0.0):
在这里插入图片描述
将压缩包放在喜欢的位置进行解压:
在这里插入图片描述

开始配置spark的系统环境变量:
在这里插入图片描述
在系统变量中新建:
变量名:SPARK_HOME
变量值:D:\spark-3.0.0-bin-hadoop2.7

三.安装hadoop及配置环境变量:
下载地址:
https://archive.apache.org/dist/hadoop/common/
选择与spark对应的版本:
在这里插入图片描述
点击之后进行下载:
在这里插入图片描述
解压到喜欢的位置:
在这里插入图片描述
此时bin目录(D:\hadoop-2.7.1\bin)下可能没有hadoop.dll及winutils.exe文件,
需要进行下载:
hadoop.dll:
https://github.com/steveloughran/winutils/blob/master/hadoop-2.7.1/bin/hadoop.dll
在这里插入图片描述
点击下载

winutils.exe:
https://github.com/steveloughran/winutils/blob/master/hadoop-2.7.1/bin/winutils.exe
下载方式同上

将hadoop.dll和winutils.exe均拷贝到D:\hadoop-2.7.1\bin下和C:\Windows\System32下(两个文件各拷贝一份)
在这里插入图片描述

开始配置hadoop的系统环境变量:
在这里插入图片描述
新建系统变量:
变量名:HADOOP_HOME
变量值:D:\hadoop-2.7.1
在cmd输入hadoop version,出现如下界面:
在这里插入图片描述
说明hadoop环境变量配置成功;
接着输入spark-shell,出现如下界面:
在这里插入图片描述
说明spark系统环境变量配置成功;
接下来安装py4j,在cmd中输入pip install py4j
安装成功后接着输入pip install pyspark,安装好后出现如下界面:
在这里插入图片描述
最后输入pyspark,出现如下界面:
在这里插入图片描述
再来pycharm看引用的pyspark代码,已经可以正常使用了:
在这里插入图片描述
至此,windows(win7)安装pyspark(3.0.0及以上版本)成功

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/542353.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

IS215UCVEM08B US2000型处理器板

IS215UCVEM08B US2000型处理器板通用电气标志VI卡 这IS215UCVEM08B是一种印刷电路板,是通用电气公司制造的Mark VI Speedtronic涡轮系列的一部分。这IS215UCVEM08B有一个小的圆形锂电池。这IS215UCVEM08B有几个链接点。电路板右手边有三个娇小的小鹿点。电路板背面…

【LLM系列之GPT】GPT(Generative Pre-trained Transformer)生成式预训练模型

GPT模型简介 GPT(Generative Pre-trained Transformer)是由OpenAI公司开发的一系列自然语言处理模型,采用多层Transformer结构来预测下一个单词的概率分布,通过在大型文本语料库中学习到的语言模式来生成自然语言文本。GPT系列模…

【STM32G431RBTx】备战蓝桥杯嵌入式→决赛试题→第九届

文章目录 前言一、题目![请添加图片描述](https://img-blog.csdnimg.cn/ccdd07679c9b4d86b6faad3554637eba.png)二、模块初始化三、代码实现interrupt.h:interrupt.c:main.h:main.c: 四、完成效果五、总结 前言 无 一、题目 二、模块初始化 1.LCD这里不用配置,直…

[FlareOn6]Overlong 题解

这个题是不需要逆向加密函数就可以得到flag的,可以直接动态调试得到flag比较快一点 这个冒号后面有东西没有输出 查看主函数的汇编 push 1Ch push offset unk_402008 是调用下面这个函数前的参数传递 call sub_401160 观察这个函数,push …

研发工程师玩转Kubernetes——构建、推送自定义镜像

这几节我们都是使用microk8s学习kubernetes,于是镜像库我们也是使用它的插件——registry。 开启镜像库插件 microk8s enable registry模拟开发环境 我们使用Python作为开发语言来进行本系列的演练。 安装Python sudo apt install python3.11安装Pip3 pip3用于…

chatgpt赋能Python-python3_5怎么安装

Python3.5的安装方法 对于想要学习Python编程的新手来说,Python的版本安装是必须要掌握的技能。在本文中,我们将介绍如何安装Python3.5版本。 介绍 Python是一门简单易学的高级编程语言,其代码易于阅读,容易维护。Python有很多…

JAVA—实验3 继承与多态

一、实验目的 1.掌握类的继承机制 2.掌握抽象类的定义方法 2.熟悉类中成员变量和方法的访问控制 3.熟悉成员方法或构造方法的多态性 二、实验内容 1. Circle类及其子类 【问题描述】 实现类Circle,半径为整型私有数据成员 1)构造方法:参数为…

留学文书可以彻底被AI取代吗?留学顾问是否会被AI逼到墙角?

近日,ChatGPT再次“进化”,其最新版本ChatGPT-4又掀高潮。其生产者OpenAI 称,“ChatGPT-4是最先进的系统,能生产更安全和更有用的回复。”和上一代相比,GPT-4拥有了更广的知识面和更强的解决问题能力,在创意…

IC698PSA350 GE Fanuc为RX7i系列生产的电源模块

IC698PSA350 GE Fanuc为RX7i系列生产的电源模块 IC698PSA350是一款 PAC系统 GE Fanuc为RX7i系列生产的电源模块。该模块提供5伏直流电、12伏直流电和-12伏直流电。此外,它还向背板上的模块发送逻辑电平序列信号。该模块插入主机架的插槽0。 IC698PSA350 模块的 在保…

【云计算与虚拟化】第三章 实验三 配置vSphere虚拟网络和iSCSI共享存储

实验3. 配置vSphere虚拟网络和iSCSI共享存储 一、配置vSphere虚拟网络的实验步骤 在 VMware Workstation 中为 ESXi 主机添加两块网卡 2.开启 ESXi 主机,使用 vSphere Client 连接到 ESXi 主机。选中 ESXi 主机 切换到“配置”栏,点击硬件→网络适配器…

计算机中存储器详解

文章目录 一、存储器的分类1. 按存储介质分类2. 按存取方式分类 二、存储器的层次结构三、CPU、缓存、主存、辅存之间的通信关系1. 缓存-主存层次2. 局部性原理3. 主存-辅存层次 一、存储器的分类 1. 按存储介质分类 2. 按存取方式分类 二、存储器的层次结构 在讲存储器的层次…

类和对象【2】默认成员函数

文章目录 引言构造函数定义默认构造函数及相关问题 析构函数拷贝构造定义使用时可能引发的问题 赋值运算符重载运算符重载赋值运算符重载 总结 引言 在上一篇文章中,初步介绍了类和对象:戳我看初识类和对象 不难发现,类类型极大的方便了用户…

【5.15】一、软件测试基础—软件测试概述

目录 1.3 软件测试概述 1.3.1 软件测试简介 1.3.2 软件测试的目的 1.3.3 软件测试的分类 1.3 软件测试概述 软件测试工作能保证软件产品的质量。 1.3.1 软件测试简介 IEEE:软件测试是使用人工或自动手段运行或测定某个系统的过程,其目的在于检验它…

mac读不到内置硬盘为什么 ntfs读取不了硬盘

电脑内置硬盘可用于启动电脑、存储文件、保存注册表信息等多项功能,一旦无法读取,轻则可能导致某个分卷无法使用,严重时会导致整台mac电脑无法开机停留在Logo界面。那么mac读不到内置硬盘为什么,ntfs读取不了硬盘是何原因&#xf…

【5.16】二、黑盒测试方法—等价类划分法

目录 2.1 等价类划分法 2.1.1 等价类划分法概述 2.1.2 实例:三角形问题的等价类划分 2.1.3 实例:余额宝提现的等价类划分 2.1 等价类划分法 等价类划分法是一种常用的黑盒测试方法,主张从大量的数据中选择一部分数据用于测试&#xff0…

微信小程序 nodejs+vue+uniapp学科竞赛作品管理系统java+python

每个系统也都将通过计算机进行整体智能化操作,对于基于微信小程序学科竞赛作品管理系统功能所牵扯的数据都是通过用户进行基于微信小程序学科竞赛作品管理系统等相关的数据信息内容、并且可以进行管理员在线处理首页、个人中心、用户管理、教师管理、辅导员管理、作…

IS420UCSBH1A 用于帮助实现控制器逻辑

通用电气公司的Mark VIe控制器IS420UCSBH1A类似于UCSC控制器,所有相同的一般信息都可以应用于UCSB模型。IS420UCSBH1A型号通常是一种紧凑型独立控制器,用于帮助实现控制器逻辑。 制造商通用电气与…类似马克维UCSC控制器产品类型Mark VIe、EX2100e或LS2…

JUC并发编程(一)

JUC并发编程 文章目录 JUC并发编程一、进程与线程1 进程2 线程3 进程与线程的对比4 并行与并发5 同步与异步 二、Java线程1 创建和运行线程2 查看进程线程的方法3 栈与栈帧4 线程中常见方法5 start()与run()6 sleep()与yield()7 线程优先级8 join()方法9 interrupt()方法10 使用…

软考初级程序员上午五单选(9)

1、在Windows中,用鼠标左键单击某应用程序窗口的最小化按钮后,该应用程序处于______的状态。 A.被强制关闭 B.不确定 C.被暂时挂起 D.在后台继续运行 2、将某ASCII字符采用偶校验编码(7位字符编码1位校验码…

【5.15】一、软件测试基础—软件测试与软件开发

目录 1.4 软件测试与软件开发 1.4.1 软件测试与软件开发的关系 1.4.2 常见的软件测试模型 1.4 软件测试与软件开发 软件开发是生产制造软件产品,软件测试是检验软件产品是否合格,两者密切合作才能保证软件产品的质量。 1.4.1 软件测试与软件开发的关…