windows下的IDEA运用Scala 编写的 Apache Spark 应用程序

news2025/1/19 3:25:37

目录

一.环境要求

虚拟机环境

1.linux操作系统

2.jdk

3.Hadoop环境

4.spark

5.scala

Windows环境

1.jdk

2.Hadoop（同上）

3.Scala

4. 安装winutils

二.IDEA的安装

idea下载

1、网站

2、下载

3、 安装 

idea的配置

1.汉化

2.下载scala插件

3.下载Maven

4.新建Maven项目

5.配置Maven

6.添加框架

三.编写文件

1.配置pom.xml文件

2.下载spark，导jar包

3.新建object文件

四.实验测试

1.新建object

控制台结果 

hadoop文件查看结果

2.新建object

一.环境要求

虚拟机环境

1.linux操作系统
2.jdk
3.Hadoop环境

如果没有安装的话，请看这篇文章：

https://blog.csdn.net/2202_75334392/article/details/132863607?spm=1001.2014.3001.5501

4.spark
5.scala

如果没有安装的话，请看这篇文章：

https://blog.csdn.net/2202_75334392/article/details/136355422?spm=1001.2014.3001.5501

Windows环境

1.jdk

如果没有安装的话，请看这篇文章：

https://blog.csdn.net/2202_75334392/article/details/132345373?spm=1001.2014.3001.5501

2.Hadoop（同上）

（windows和linux的hadoop版本要相同，jdk也是一样）

3.Scala

下载地址：

http://distfiles.macports.org/scala2.11/

两个相同的安装方式，下载安装包，配置环境变量

点击系统变量的path

添加路径

win+R 打开控制窗 输入下面的命令查看是否安装成功

scala


hadoop version

4. 安装winutils

下载地址：（这个适合3.1.x的版本）

https://pan.baidu.com/s/12_CDLyq3s8pgQ2JNAnw_SA?pwd=8888 
提取码：8888

其他版本

http:// https://github.com/steveloughran/winutils

存放路径：/hadoop/bin路径下

二.IDEA的安装

idea下载

1、网站

打开浏览器输入，进入 Jetbrains官网，点击 Developer Tools，再点击 Intellij IDEA

2、下载

选择左边的 Ultimate 版本进行下载安装。Ultimate 版本为旗舰版，需要付费，包括完整的功能Community 版本为社区版，免费，只支持部分功能。这里我们选择左边 Ultimate 版本进行下载，然后进行激活

3、 安装 

下载完后在本地找到该文件，双击运行 idea 安装程序

按照安装程序进行安装。

idea的配置

1.汉化

打开setting（设置）

找到plug（插件）

在搜索Chinese。下载，重启

2.下载scala插件

3.下载Maven

下载地址

https://archive.apache.org/dist/maven/maven-3/3.9.5/binaries/

4.新建Maven项目

5.配置Maven

点击右边框的m键

再点击齿轮

然后修改成下载的Maven路径

6.添加框架

双击shift键

 勾选scala

三.编写文件

1.配置pom.xml文件

第一次加载可能会有点久

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>

<groupId>org.example</groupId>
<artifactId>test_spark_1</artifactId>
<version>1.0-SNAPSHOT</version>

<properties>
    <maven.compiler.source>8</maven.compiler.source>
    <maven.compiler.target>8</maven.compiler.target>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
    <encoding>UTF-8</encoding>
    <!-- 声明scala的版本 -->
    <scala.version>2.11.12</scala.version>
    <!-- 声明linux集群搭建的spark版本，如果没有搭建则不用写 -->
    <spark.version>2.4.0</spark.version>
    <!-- 声明linux集群搭建的Hadoop版本 ，如果没有搭建则不用写-->
    <hadoop.version>3.1.3</hadoop.version>
</properties>
<dependencies>
    <dependency>
        <groupId>org.apache.spark</groupId>
         <!-- 2.11是我的Scala的版本，2.4.0是我的spark的版本 ,要根据你们自己的版本修改 -->
        <artifactId>spark-mllib_2.11</artifactId>
        <version>2.4.0</version>
    </dependency>
    <dependency>
        <groupId>org.scala-lang</groupId>
        <artifactId>scala-library</artifactId>
        <version>2.11.12</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core -->
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>2.4.0</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql -->
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.11</artifactId>
        <version>2.4.0</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming -->
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-streaming_2.11</artifactId>
        <version>2.4.0</version>
    </dependency>
    <dependency>
        <!-- 3.1.3是我的hadoop的版本 ,要根据你们自己的版本修改 -->
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-hive_2.11</artifactId>
        <version>2.4.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>3.1.3</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-core</artifactId>
        <version>3.1.3</version>
    </dependency>
    <dependency>
        <groupId>log4j</groupId>
        <artifactId>log4j</artifactId>
        <version>1.2.17</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>3.1.3</version>
    </dependency>
    <!--mapreduce-->
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-core</artifactId>
        <version>3.1.3</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-common</artifactId>
        <version>3.1.3</version>
    </dependency>
    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.13.2</version>
    </dependency>
    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.13.2</version>
        <scope>compile</scope>
    </dependency>
</dependencies>
</project>

2.下载spark，导jar包

（和虚拟机spark的版本一致）

下载地址：

Index of /apache/spark

把spark的jar文件夹一整个导入

3.新建object文件

四.实验测试

1.新建object

名称为GeneratePeopleInfoHDFS

import org.apache.spark.{SparkConf, SparkContext}
import scala.util.Random

object GeneratePeopleInfoHDFS {
  //用于随机生成性别，返回字符串 "M" 或 "F"
  def getRandomGender():String={
    val rand = new Random()
    val randNum = rand.nextInt(2)+1
    if (randNum % 2 == 0) {"M"} else {"F"}
  }

  // 主函数
  def main(args: Array[String]): Unit = {
    System.setProperty("HADOOP_USER_NAME","root")

    // 指定输出文件路径
    val outputFile =  "hdfs://192.168.200.80:8020/user/root/peopleinfo2.txt"

    // 创建 SparkConf 对象，设置应用名称和运行模式
    val conf = new SparkConf().setAppName("GeneratePeopleAgeHDFS").setMaster("local[1]")

    // 创建 SparkContext 对象
    val sc = new SparkContext(conf)

    // 生成随机人员信息并存储到数组中
    val rand = new Random()
    val array = new Array[String](1000)
    for (i<-1 to 1000){
      var height = rand.nextInt(230)
      if (height<50) {height = height + 50}
      var gender = getRandomGender()
      if (height <100 && gender == "M") {height = height+100}
      if (height <100 && gender == "F") {height = height+50}
      array(i-1)=i+" "+gender+" "+height
    }

    // 将数组转换为 RDD 并打印每个元素，然后将 RDD 保存到指定的 HDFS 文件路径
    val rdd = sc.parallelize(array)
    rdd.foreach(println)
    rdd.saveAsTextFile(outputFile)
  }
}
控制台结果 

hadoop文件查看结果

2.新建object

编写Spark应用程序，该程序对HDFS文件中的数据文件peopleinfo.txt进行统计，计算得到男性总数、女性总数、男性最高身高、女性最高身高、男性最低身高、女性最低身高

package TEST2

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

// 定义 CountPeopleInfo 对象
object CountPeopleInfo {
  def main(args: Array[String]): Unit = {
    // 设置 Spark 应用程序的配置，并指定应用名称为 "CountPeopleInfo"，运行模式为本地模式
    val conf = new SparkConf().setAppName("CountPeopleInfo").setMaster("local")

    // 创建 SparkContext 对象
    val sc = new SparkContext(conf)

    // 指定输入文件路径
    val inputFile = "hdfs://192.168.200.80:8020/user/root/peopleinfo2.txt"

    // 读取文件中的每一行
    val lines = sc.textFile(inputFile)

    // 提取男性信息和女性信息，并生成格式为 "性别 身高" 的元组
    val maleInfo = lines.filter(line => line.contains("M")).map(line => line.split(" ")).map(t => (t(1) + " " + t(2)))
    val femaleInfo = lines.filter(line => line.contains("F")).map(line => line.split(" ")).map(t => (t(1) + " " + t(2)))

    // 提取男性和女性的身高信息
    val maleHeightInfo = maleInfo.map(t => t.split(" ")(1).toInt)
    val femaleHeightInfo = femaleInfo.map(t => t.split(" ")(1).toInt)

    // 计算男性和女性的最低和最高身高
    val lowestMale = maleHeightInfo.sortBy(x => x, true).first()
    val lowestFemale = femaleHeightInfo.sortBy(p => p, true).first()
    val highestMale = maleHeightInfo.sortBy(p => p, false).first()
    val highestFemale = femaleHeightInfo.sortBy(p => p, false).first()

    // 输出统计结果
    println("Number of Male: " + maleInfo.count())
    println("Number of Female: " + femaleInfo.count())
    println("Lowest Male: " + lowestMale)
    println("Lowest Female: " + lowestFemale)
    println("Highest Male: " + highestMale)
    println("Highest Female: " + highestFemale)
  }
}

结束了！！

感谢大家的观看！！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1530035.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Windows电脑上如何进行硬盘分区操作！

Windows电脑上如何进行硬盘分区操作！

在Windows操作系统环境下，对电脑硬盘进行分区是一种常见的硬盘管理手段，它可以帮助用户更好地组织和管理存储空间，确保操作系统、应用程序和用户数据各有所属。本文将详细介绍在Windows PC上进行硬盘分区的步骤，适用于Windows 7到Windows 11等不同版本的操作系统。 步骤一：…
阅读更多...
C# visual studio 2022 学习2

C# visual studio 2022 学习2

类成员&#xff1a; 1.字段成员 字段只是类中声明的一个变量&#xff0c;用来在对象中存储信息。 &#xff08;1&#xff09;.静态字段 使用static关键字修饰的就是静态字段&#xff0c;静态字段属于类而不属于某个类实例&#xff0c;对它的访问使用“类名.静态字段名” &…
阅读更多...
el-tree 设置默认展开指定层级

el-tree 设置默认展开指定层级

el-tree默认关闭所有选项&#xff0c;但是有添加或者编辑删除的情况下&#xff0c;需要刷新接口&#xff0c;此时会又要关闭所有选项&#xff1b; 需求&#xff1a;在编辑时、添加、删除 需要将该内容默认展开 <el-tree :default-expanded-keys"expandedkeys":da…
阅读更多...
JS+CSS3点击粒子烟花动画js特效

JS+CSS3点击粒子烟花动画js特效

JSCSS3点击粒子烟花动画js特效 JSCSS3点击粒子烟花动画js特效
阅读更多...
大数据技术学习笔记（十三）—— HBase

大数据技术学习笔记（十三）—— HBase

目录 1 Hbase 概述1.1 Hbase 定义1.2 HBase 数据模型1.2.1 HBase 逻辑结构1.2.2 HBase 物理存储结构1.2.3 数据模型 1.3 HBase 基本架构 2 HBase Shell 操作2.1 基本操作2.2 namespace 操作2.3 表操作 3 HBase 原理深入3.1 RegionServer 架构3.2 HBase 写流程3.3 MemStore Flus…
阅读更多...
【技术栈】Redis 企业级解决方案

【技术栈】Redis 企业级解决方案

​ SueWakeup 个人主页&#xff1a;SueWakeup ​​​​​​​ 系列专栏&#xff1a;学习技术栈 ​​​​​​​ ​​​​​​​ ​​​​​​​ ​​​​​​​ ​​​​​​​ ​​​​​​​ ​​​​​​​ 个性签名&…
阅读更多...
C# 使用OpenCvSharp4将Bitmap合成为MP4视频的环境

C# 使用OpenCvSharp4将Bitmap合成为MP4视频的环境

环境安装步骤&#xff1a; 在VS中选中项目或者解决方案&#xff0c;鼠标右键&#xff0c;选择“管理Nuget包”&#xff0c;在浏览窗口中搜索OpenCVSharp4 1.搜索OpenCvSharp4,选择4.8.0版本&#xff0c;点击安装 2.搜索OpenCvSharp4.runtime.win,选择4.8.0版本&#xff0c;点…
阅读更多...
vue3 + vite 实现一个动态路由加载功能

vue3 + vite 实现一个动态路由加载功能

假设后端返回的格式是这样子 {"menu": [{"path": "/admin","name": "adminLayout","redirect": "/admin/index","componentPath": "/layout/admin/index.vue","children&quo…
阅读更多...
Could not locate zlibwapi.dll. Please make sure it is in your library path!

Could not locate zlibwapi.dll. Please make sure it is in your library path!

背景 运行PaddleOCR时&#xff0c;用的CUDA11.6配的是cuDNN8.4。但是运行后却报错如下。 解决手段 去网上找到这两个文件&#xff0c;现在英伟达好像不能下载了&#xff0c;但是可以去网盘下载。然后把dll文件放入CUDA11.6文件下的bin目录&#xff0c;而lib文件放入CUDA11.6文…
阅读更多...
基于YOLOv8的航空遥感飞机小目标检测

基于YOLOv8的航空遥感飞机小目标检测

&#x1f4a1;&#x1f4a1;&#x1f4a1;本文摘要&#xff1a;基于YOLOv8的航空遥感飞机小目标检测&#xff0c;阐述了整个数据制作和训练可视化过程 1.YOLOv8介绍 Ultralytics YOLOv8是Ultralytics公司开发的YOLO目标检测和图像分割模型的最新版本。YOLOv8是一种尖端的、最先…
阅读更多...
js检测数据类型方式（typeof instanceof Object.prototype.toString.call()）

js检测数据类型方式（typeof instanceof Object.prototype.toString.call()）

typeof 使用 typeof 检测数据类型&#xff0c;首先返回的都是一个字符串&#xff0c;其次字符串中包含了对应的数据类型&#xff1b; 缺点&#xff1a; typeof null "object"不能具体细分是数组、正则还是对象中其他值&#xff0c;使用 typeof 检测数据类型对于对…
阅读更多...
微服务day03 -- Docker

微服务day03 -- Docker

1.初识Docker 1.1.什么是Docker 微服务虽然具备各种各样的优势&#xff0c;但服务的拆分通用给部署带来了很大的麻烦。 分布式系统中&#xff0c;依赖的组件非常多&#xff0c;不同组件之间部署时往往会产生一些冲突。 在数百上千台服务中重复部署&#xff0c;环境不一定一致…
阅读更多...
59、服务攻防——中间件安全CVE复现IISApacheTomcatNginx

59、服务攻防——中间件安全CVE复现IISApacheTomcatNginx

文章目录 中间件——IIS漏洞中间件——Nginx漏洞中间件——Apache中间件——Tomcat 中间件&#xff1a;IIS、Apache、Nginx、Tomcat、Docker、Weblogic、JBoss、WebSphere、Jenkinsphp框架&#xff1a;Laravel、Thinkphppythonl框架&#xff1a;Flaskjs框架&#xff1a;jQueryj…
阅读更多...
vue+elementui中table实现单选行功能

vue+elementui中table实现单选行功能

el-table插件可以选择行&#xff0c;但是只能多选&#xff0c;而项目中有单选的需求。 效果如下图所示&#xff0c;点击行或者点击复选框都可以选中行&#xff08;高亮&#xff0c;复选框选中&#xff09;&#xff0c;并且每次只选中当前行&#xff0c;之前选中的行清空。点击标…
阅读更多...
Panasonic松下PLC如何数据采集？如何实现快速接入IIOT云平台？

Panasonic松下PLC如何数据采集？如何实现快速接入IIOT云平台？

在工业自动化领域&#xff0c;数据采集与远程控制是提升生产效率、优化资源配置的关键环节。对于使用Panasonic松下PLC的用户来说&#xff0c;如何实现高效、稳定的数据采集&#xff0c;并快速接入IIOT云平台&#xff0c;是摆在他们面前的重要课题。HiWoo Box工业物联网关以其强…
阅读更多...
TikTok云手机是什么原理？

TikTok云手机是什么原理？

随着社交媒体的快速发展和普及&#xff0c;TikTok已成为全球最受欢迎的短视频平台之一&#xff0c;吸引了数以亿计的用户。在TikTok上&#xff0c;许多用户和内容创作者都希望能够更灵活地管理和运营多个账号&#xff0c;这就需要借助云手机技术。那么&#xff0c;TikTok云手机…
阅读更多...
通过el-table实现表格穿梭框

通过el-table实现表格穿梭框

element-ui自带的el-transfer界面比较简单&#xff0c;通过el-table实现表格形式的穿梭框功能 首先是效果图 示例图样式比较简单&#xff0c;但是el-table是完全通过div包裹的&#xff0c;所以里面可以自己添加更多的其他组件实现想要的功能 <div style"display: flex…
阅读更多...
微信小程序 ---- 慕尚花坊 结算支付

微信小程序 ---- 慕尚花坊 结算支付

结算支付 01. 配置分包并跳转到结算页面 思路分析&#xff1a; 随着项目功能的增加&#xff0c;项目体积也随着增大&#xff0c;从而影响小程序的加载速度&#xff0c;影响用户的体验。 因此我们需要将 结算支付 功能配置成一个分包&#xff0c; 当用户在访问设置页面时&a…
阅读更多...
鸿蒙Harmony应用开发—ArkTS声明式开发（画布组件：Path2D）

鸿蒙Harmony应用开发—ArkTS声明式开发（画布组件：Path2D）

路径对象&#xff0c;支持通过对象的接口进行路径的描述&#xff0c;并通过Canvas的stroke接口或者fill接口进行绘制。 说明&#xff1a; 从 API Version 8 开始支持。后续版本如有新增内容&#xff0c;则采用上角标单独标记该内容的起始版本。 addPath addPath(path: path2D,…
阅读更多...
【Web技术应用基础】HTML(1)——简单界面

【Web技术应用基础】HTML(1)——简单界面

题目1&#xff1a; <!DOCTYPE html> <html><head><meta charset"utf-8"><title>Hello world</title></head> <body bgcolor"F6F3D6"><!--用HTML语言向世界打声招呼吧&#xff01;--><h1 align&…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023