2023_Spark_实验九:Scala函数式编程部分演示

news2024/11/19 0:30:48

需求:

1、做某个文件的词频统计//某个单词在这个文件出现次数

步骤:

1、文件单词规律(空格分开)

2、单词切分

3、单词的统计

(k,v)->(k:单词,V:数量)

4、打印

框架:

1、单例对象,main()

2、创建CONF

3、创建SC-->读取文件的方式--》RDD

4、RDD进行处理

5、关闭资源

一、新建object类取名为WordCount

2、编写如下代码

3、本地运行,查看运行结果如下

解决无法下载spark与打包插件的办法

maven打包插件与spark所需依赖下载地址:

链接:百度网盘 请输入提取码

提取码:jnta

解决步骤:

0、到网盘下载maven打包插件与spark依赖,网盘吗中的内容如下:

1、将下载的插件plugins.rar解压,并复制插件文件夹到你本地maven仓库下,如下图所示:

2、将下载的spark依赖spark.rar解压,并复制spark文件夹到你本地maven仓库下,如下图所示:

3、重启idea,重新build下工程

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1025075.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

手游模拟器长时间运行后,游戏掉帧且不恢复

1)手游模拟器长时间运行后,游戏掉帧且不恢复 2)FrameBuffer Fetch无论哪种模式在确定支持的手机上显示全紫 3)协程中yield return CoFunction()和yield return StartCoroutine(CoFunction())的区别 这是第353篇UWA技术知识分享的推…

山石网科国产化入侵防御系统,打造全生命周期的安全防护

随着互联网的普及和网络安全的威胁日益增加,botnet感染成为了企业面临的重要问题之一。botnet是一种由分散的客户端(或肉鸡)组成的网络,这些客户端被植入了bot程序,受控于攻击者。攻击者通过这些客户端的bot程序&#…

win10 查看已连接过的wifi的密码

1 打开管理员模式的CMD 2 输入命令查看WIFI名称 netsh wlan show profiles 上面的列表右边,就是wifi名称 3 输入指令,查看wifi密码 netsh wlan show profile name"WIFI名称" keyclear

淘宝商品详情数据采集

淘宝商品详情数据采集的方法如下: 确定采集目标:明确要采集的商品信息,如商品标题、价格、销量、评论、图片等。选择采集工具:可以选择Scrapy框架、Java的WebMagic框架等。编写爬虫程序:进入目标文件夹,输…

Python语言学习实战-内置函数property()的使用(附源码和实现效果)

实现功能 property()是Python内置函数,用于创建一个特殊的属性,该属性可以像普通属性一样访问,但其值是通过方法计算得出的。它通常用于控制对类的私有属性的访问,以实现更好的封装性和安全性。 property()函数的语法如下&#x…

ThreeJS-3D教学二基础形状展示

three中提供了22 个基础模型,此案例除了 EdgesGeometry、ExtrudeGeometry、TextGeometry、WireframeGeometry,涵盖 17 个形状。 Fog 雾化设置,这是scene场景效果EdgesGeometry , WireframeGeometry 更多地可能作为辅助功能去查看几何体的边和…

解决kali beef启动失败问题及实战

文章目录 一、解决方法二、靶场实战应用1.首先打开dvwa这个靶场,设置难度为low2.打开xss-stored3.准备payload4.提交payload5.利用 一、解决方法 首先需卸载 ruby apt remove ruby 卸载 beef apt remove beef-xss 重新安装ruby apt-get install ruby apt-get insta…

外国电影字幕翻译,怎么把英文字幕翻译成中文字幕?

我们知道,在国内外文化交流中,影视字幕翻译扮演着重要的角色,不仅让观众领略到异国风情,更能达到文化传播的功能。那么,针对外国电影字幕翻译,怎么把英文字幕翻译成中文字幕呢,有什么好的技巧呢…

C++数据结构 -- 哈希表

目录 一、哈希概念二、 哈希冲突三、 哈希函数四、 减少哈希冲突常用的方法4.1 闭散列4.1.1 闭散列的开放定址法的增容4.1.2 闭散列的开放定址法的哈希结构的实现 4.3 开散列4.3.1 开散列概念4.3.2 插入元素4.3.2 删除元素4.3.3 开散列的哈希桶的增容4.3.4 开散列的哈希桶(拉链…

VB将十进制整数转换成16进制以内的任意进制数

VB将十进制整数转换成16进制以内的任意进制数 数值转换,能够将十进制整数转换成16进制以内的任意进制数 Private Function DecToN(ByVal x%, ByVal n%) As StringDim p() As String, y$, r%p Split("0,1,2,3,4,5,6,7,8,9,A,B,C,D,E,F", ",")I…

基于Java学生档案管理系统设计实现(源码+lw+部署文档+讲解等)

博主介绍:✌全网粉丝30W,csdn特邀作者、博客专家、CSDN新星计划导师、Java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 🍅文末获取源码联系🍅 👇🏻 精彩专…

重磅发布!汉威科技燃气安全一站式解决方案全面覆盖燃气安全最新需求

近年来,我国陆续出台相关国家政策、标准等文件,对燃气安全建设提出一系列新要求,尤其是近期国务院安委会印发的《全国城镇燃气安全专项整治工作方案》,将燃气安全建设提升至新的高度。要实现全链条整治并做到标本兼治,…

【Vue】浏览器自定义格式化工具

当我们不启用浏览器自定义格式化工具,输出 Ref 或者 Reactive 类的值出输出完整的返回值对象,而且 value 值需要再次点击才可以得到。 为了解决这个问题,我们可以开启浏览器自定义格式化工具。 点击 setting 齿轮 依次找到 preference ->…

【探索C++】C++对C语言的扩展

(꒪ꇴ꒪ ),Hello我是祐言QAQ我的博客主页:C/C语言,数据结构,Linux基础,ARM开发板,网络编程等领域UP🌍快上🚘,一起学习,让我们成为一个强大的攻城狮&#xff0…

30.链表练习题(1)(王道2023数据结构2.3.7节1-8题)

【前面使用的所有链表的定义在第29节】 试题1: 设计一个递归算法,删除不带头结点的单链表L中所有值为x的结点。 首先来看非递归算法,暴力遍历: int Del(LinkList &L,ElemType x){ //此函数实现删除链表中为x的元素LNode *…

oracle分组排序取第一条数据

row_number()over(partition by 分组字段 order by 排序字段) 例:select * from ( select id,dealer_name,row_number()over(partition by dealer_name order by create_time ) r from mr) where r1

欧盟对中反补贴引发恐慌 | 百能云芯

中德汽车产业链紧密交织,欧盟对中国电动汽车反补贴的调查可能对欧洲本土产业造成负面影响。欧盟计划到2035年停售非零碳排放汽车,这为中国电动汽车在欧洲市场寻求机会提供了契机,但中国电动车的快速崛起引发了国际社会的警惕。 欧盟委员会主席…

在比特币上使用可检索性证明支付存储费用

我们为用户开发了一种为云存储付费的新方法。 与亚马逊的 S3 等传统云存储相比,用户不必信任服务器。 我们使用比特币智能合约来确保支付取决于服务器的可检索性证明 (PoR),该证明只能在数据仍然可用且需要时可以检索的情况下生成。 可检索性证明 (PoR)…

WireShark抓包分析TCP三次握手过程,TCP报文解析

「作者主页」:士别三日wyx 「作者简介」:CSDN top100、阿里云博客专家、华为云享专家、网络安全领域优质创作者 「推荐专栏」:对网络安全感兴趣的小伙伴可以关注专栏《网络安全入门到精通》 使用WireShark工具抓取TCP协议三次握手的数据包&am…

06-数据库检索:如何使用B-树对海量磁盘数据建立索引?

06-数据库检索:如何使用B-树对海量磁盘数据建立索引? 你好,我是陈东。 在基础篇中,我们学习了许多和检索相关的数据结构和技术。但是在大规模的数据环境下,这些技术的应用往往会遇到一些问题,比如说&…