【spark】win10 pyspark3.5.1 安装超级简单

news2024/10/6 20:28:21

下载地址:https://spark.apache.org/downloads.html

在这里插入图片描述

在这里插入图片描述
下载完成:
在这里插入图片描述
复制文件到自己的路径下,路径最好不要有中文、空格;
解压tgz文件:
在这里插入图片描述
修改环境变量:

创建SPARK_HOME:
D:\software_download\spark-3.5.1-bin-hadoop3
(根据自己安装的位置)

Path添加:%SPARK_HOME%\bin

PYSPARK_PYTHON添加一个变量,变量值填上自己的python解释器的路径
在这里插入图片描述

在这里插入图片描述

验证:
在这里插入图片描述
退出:

quit()

在这里插入图片描述

启动spark-shell
在这里插入图片描述

http://127.0.0.1:4040/jobs/
在这里插入图片描述

报错:

 Did not find winutils.exe: java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset. -see https://wiki.apache.org/hadoop/WindowsProblems

原因是因为hadoop问题,可以参考:https://blog.csdn.net/shulianghan/article/details/132042385
Hadoop安装:
https://blog.csdn.net/lvoelife/article/details/133349627

这个文章也不错:https://blog.csdn.net/qq_37067752/article/details/131210857

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1652728.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

实测幻方新出的超强AI大模型,中文能力对比GPT4.0不落下风

目前从网上的消息来看,DeepSeek中文综合能力(AlignBench)开源模型中最强,与GPT-4-Turbo,文心4.0等闭源模型在评测中处于同一梯队。 话不多说,我们开测! 1.首先我们来让他直接来一段逻辑推理【并…

CAN报文总线仲裁机制

对于标准帧而言,有11位的标识符,也就是报文的ID。报文的ID值越小,优先级越高。如果有两个以上的ECU同时发送CAN报文,ID值小的报文可以发送成功。总线仲裁机制是一种非破坏性仲裁,是一种既不会造成已发送数据的延迟&…

rust使用serde_json转换Value为rust中的数据类型

为了方便转换未知json数据,我们可以使用serde提供的value类型来进行转换,将json字符串转化为Value值,然后可以快速使用get方法来获取值: let json_str r#"{"name": "John","age": 30,"c…

3D 交互展示该怎么做?

在博维数孪(Bowell)平台制作3D交互展示的流程相对简单,主要分为以下几个步骤: 1、准备3D模型:首先,你需要有一个3D模型。如果你有3D建模的经验,可以使用3ds Max或Blender等软件自行创建。如果没…

怎么清理服务器的C盘?

有时候我们经常会遇到C盘被占满的情况,C盘被占满的原因有很多,下面我们就来分析下有可能导致C盘占满的原因: 第一种情况:中毒 打开服务器任务管理器选择进程,并且勾选显示所有用户的进程,我们可以点击映像…

Python进行excel处理-01

最近干采购,每个月要对供应商的对账单,对对应的采购订单号和物料编号的价格和数量,是不是和物料管控总表里面的价格数量是不是一致,于是写了一个代码。 从总表里面找到,对账单里对应采购订单和物料编码的数据&#xf…

黄金投资怎么判断走势好坏?

投资黄金,就是押注于这一贵金属价格的变动。判断黄金价格的走势好坏,对于投资者来说至关重要。这需要从宏观经济指标、技术分析指标和市场情绪等多元化角度进行综合分析。 宏观经济指标 货币政策:中央银行的货币政策,尤其是利率决…

ADOP带你了解:PDU 与 UPS:哪一款可以满足您的真正需求?

在 IT 基础设施领域,可靠的电源管理不仅是一种奢侈品,而且是任何系统平稳运行的重要组成部分。配电单元 (PDU) 和不间断电源 (UPS) 是两种关键解决方案,经常用于确保您的系统具有所需的电力。清…

【垃圾分类3】垃圾分类项目常见错误和解决方法

垃圾分类项目常见错误和解决方法 目录 垃圾分类项目常见错误和解决方法 错误1:没有D/jupyterFile 错误2:jupyter-lab not found 错误3:tf-estimator-nightly 错误4:matplotlib安装 错误5:目录没有在D/jupyterFile下 错…

2024年5月软考,别再傻傻啃书了!

备考2024年软考,不听课也不刷题,只是看教材的话,想要考试通过,几乎是不可能的,特别是基础比较薄弱的考生。 为什么只看教材通不过? 如果只是把教材从头到尾看一遍,毫无目的地看书,…

.NET_NLog

步骤 1. 添加依赖 ①Microsoft.Extensions.DependencyInjection ②NLog.Extensions.Logging(或Microsoft.Extensions.Logging.___) Tutorial NLog/NLog Wiki GitHub 2.添加nlog.config文件(默认名称, 可改为其他名称, 但需要另行配置) 文件的基础…

AI大模型应用与实践指南

大家好,我是爱编程的喵喵。双985硕士毕业,现担任全栈工程师一职,热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。…

鸿蒙开发接口Ability框架:【@ohos.application.formProvider (FormProvider)】

FormProvider FormProvider模块提供了卡片提供方相关接口的能力,包括更新卡片,设置卡片更新时间,获取卡片信息,请求发布卡片等。 说明: 本模块首批接口从API version 8开始支持。后续版本的新增接口,采用上…

DDR4 SDRAM 和LPDDR4的区别

DDR4 SDRAM(Double Data Rate Fourth Generation Synchronous Dynamic Random-Access Memory)和LPDDR4(Low Power Double Data Rate Fourth Generation)都是内存技术的标准,但它们设计用于不同的平台,并在性能、功耗和物理尺寸方面有所差异: 应用领域: DDR4 SDRAM 主要…

Seal^_^【送书活动第3期】——《Hadoop大数据分析技术》

Seal^_^【送书活动第3期】——《Hadoop大数据分析技术》 一、参与方式二、作者荐语三、图书简介四、本期推荐图书4.1 前 言4.2 本书内容4.3 本书目的4.4 本书适合的读者4.5 配套源码、PPT课件等资源下载 五、目 录六、🛒 链接直达 Hadoop框架入门书,可当…

【Redis7】10大数据类型之Zset类型

文章目录 1.Zset类型2.常用命令3.示例3.1 ZADD,ZRANGE和ZREVRANGE3.2 ZSCORE,ZCARD和ZREM3.3 ZRANGEBYSCORE和ZCOUNT3.4 ZRANK和ZREVRANK3.5 Redis7新命令ZMPOP 1.Zset类型 Redis的Zset(Sorted Set,有序集合)是一种特殊的数据结构&#xff0…

市场公关人的日常工作是什么?

作为一个从事多年的市场公关人,每到别人放假的时候就是我们最忙的时候,手上几个KOL项目安排探店,同时还要筹备品牌VIP活动。扎堆的事情每天忙得睁眼就是工作。 基本上来说,公关人是挺苦逼的,并没有大家看上去那么光鲜…

国内免费AI聊天机器人(ChatGPT)推荐(下)含ChatGPT4.0版本

作者主页:点击! 国内免费AI推荐专栏:点击! 创作时间:2024年5月7日10点39分 现在,国内各种免费AI聊天机器人(ChatGPT)层出不穷,功能强大、玩法多样,可以满足你的不同需求。 今天&a…

Linux环境Redis部署

Redis部署 Redis是一个高性能的开源键值存储系统,它主要基于内存操作,但也支持数据的持久化。与其他数据库相比,Redis的主要优势在于它的高性能、丰富的数据结构和原生的持久化能力。Redis不仅提供了类似的功能,还增加了持久化和更多高级功能,如事务处理。这使得Redis能够…

【Git】Git学习-17:git rebase,且解决合并冲突

学习视频链接:【GeekHour】一小时Git教程_哔哩哔哩_bilibili​编辑https://www.bilibili.com/video/BV1HM411377j/?vd_source95dda35ac10d1ae6785cc7006f365780 理论 git rebase 目标分支:把当前分支的提交,从与目标分支的共同主祖先处断开…