Spark大数据分析与实战笔记(第一章 Scala语言基础-1)

news2024/11/18 3:25:16

文章目录

  • 章节概要
  • 1.1 初识Scala
    • 1.1.1 Scala的概述
    • 1.1.2 Scala的下载安装
    • 1.1.3 在IDEA开发工具中下载安装Scala插件
    • 1.1.4 开发第一个Scala程序

章节概要

Spark是专为大规模数据处理而设计的快速通用的计算引擎,它是由Scala语言开发实现的,关于大数据技术,本身就是计算数据,而Scala既有面向对象组织项目工程的能力,又具备计算数据的功能,同时Spark和Scala的紧密集成,本书将采用Scala语言开发Spark程序,所以学好Scala将有助于我们更好的掌握Spark框架。

1.1 初识Scala

1.1.1 Scala的概述

Scala于2001年由洛桑联邦理工学院(EPFL)的编程方法实验室研发,它由Martin Odersky(马丁•奥德斯基)创建。目前,许多公司依靠Java进行的关键性业务应用转向或正在转向Scala,以提高其开发效率、应用程序的可扩展性和整体的可靠性。

Scala是Scalable Language的简称,它是一门多范式的编程语言,其设计初衷是实现可伸缩的语言、并集成面向对象编程和函数式编程的各种特性。具体如下:

  1. Scala是面向对象的
    Scala是一种纯粹的面向对象语言,每一个值都是一个对象。对象的数据类型以及行为由类的特征来描述。

  2. Scala是函数式编程的
    Scala也是一种函数式语言,其函数可以作为值来使用。

  3. Scala是静态类型的
    Scala具备类型系统,通过编译时检查,保证代码的安全性和一致性。

  4. Scala是可扩展的
    Scala提供了许多独特的语言机制,它以库的方式能够轻易无缝添加新的语言结构 。

  5. Scala是可交互操作的
    Scala旨在与流行的Java进行良好的交互操作。Scala用Scala编译器把源文件编译成Java的class文件。我们可以从中调用Java类库,也同样可以从Java应用程序中调用Scala的代码。

1.1.2 Scala的下载安装

Scala语言可以运行在Windows、Linux、Mac OS等系统上。由于Scala是运行在JVM平台上的,所以安装Scala之前必须配置好JDK环境(JDK版本要求不低于1.5版本)。本书使用的JDK版本是jdk1.8。

  1. 在Windows下安装Scala
  • 下载Scala安装包。
    访问Scala官网The Scala Programming Language,单击【Download】进入下载页面,该页面可以下载最新的Scala版本。我们考虑到Scala的稳定性和Spark的兼容性,这里选择下载Scala2.11.8(下载地址为:Scala 2.11.8 | The Scala Programming Language )具体如下图所示:
    在这里插入图片描述

  • 解压Scala安装包并配置windows系统下的环境变量
    下载成功后,解压Scala的安装包scala-2.11.8.zip到自己需要的位置,并在Windows系统下配置环境变量,点击【此电脑】>【属性】>【高级系统设置】>【环境变量】,在系统变量中点击【新建】,变量值为自己解压的位置,如下图所示:
    在这里插入图片描述
    在path中添加Scala的bin目录,如下图所示:
    在这里插入图片描述

  • 进入Windows命令行,输入“scala”命令,测试Scala环境是否安装成功。如下图所示:
    在这里插入图片描述

  1. 在Linux下安装Scala
  • 下载Scala安装包,并将安装包上传到Linux系统/export/software
  • 执行tar -zxvf scala-2.11.8.tgz -C /export/servers/命令解压安装
  • 在Linux系统下添加Scala环境变量
  1. 在Mac下安装Scala
  • 下载Scala安装包并解压安装包至主目录下(如果找不到主目录,则回到桌面,按⇧⌘H进入电脑主目录)。
  • 执行“open ~/.bash_profile”,添加Scala的环境变量。
  • 输入“scala -version”命令,查看Scala的安装情况,若终端出现Scala的版本号,则说明Scala安装成功。

1.1.3 在IDEA开发工具中下载安装Scala插件

目前Scala的主流开发工具主要有两种:分别是Eclipse工具和IDEA工具,我们可以在这两个开发工具中安装对应的Scala插件进行Scala开发。

由于IDEA工具可以自动识别代码错误和进行简单的修复、以及IDEA工具内置了很多优秀的插件,所以现在大多数的Scala开发程序员都会选择IDEA作为开发Scala的工具。

本书将以Windows操作系统为例,分步骤讲解如何在IDEA工具上下载安装Scala插件,具体步骤如下。

  1. 下载IDEA安装包,打开安装包进行单击【Next】按钮进行安装,直到出现”Welcome to IntelliJ IDEA“界面则安装结束。

  2. 访问“https://plugins.jetbrains.com/plugin/1347-scala”,下载Scala插件。

  3. 单击IDEA主界面右下角的【Configure】→【Plugins】→【Install plugin from disk】→【OK】→【OK】,单击【Restart】按钮,重启IDEA工具,安装结束。

注:为了电脑能更好的使用,不要将所有软件都安装在C盘,可安装到其他盘符,读者自行选择

1.1.4 开发第一个Scala程序

  1. 创建工程。在IDEA工具主界面中单击【create New Project】创建工程,如下图所示:
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  2. 创建包和Scala类。

  • 创建包
    选中“src”文件夹,右键选择【New】→【Package】按钮,输入包名,效果如图所示
    在这里插入图片描述
  • 创建类
    选中包名,右键选择【New】→【Scala Class】,并选择【Object】类型创建Scala类,类名为“HelloWorld”,效果如下图所示:
    在这里插入图片描述
  1. 在HelloWorld.scala文件中编写代码 ,代码如下。
object HelloWorld {
    def main(args: Array[String]) {
        println("Hello, world!")
    }
}
  1. 运行代码,控制台输出结果如下图所示。
    在这里插入图片描述
    注:IntelliJ IDEA版本不同,界面也会稍有不同,读者需根据版本自行确定。

转载自:https://blog.csdn.net/u014727709/article/details/132032236
欢迎start,欢迎评论,欢迎指正

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/920323.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Java可视化物联网智慧工地SaaS平台源码:人脸识别考勤

基于微服务JavaSpring Cloud Vue UniApp MySql实现的智慧工地云平台源码 智慧工地是指利用云计算、大数据、物联网、移动互联网、人工智能等技术手段,为建筑施工现场提供智能硬件及物联网平台的解决方案,以实现建筑工地的实时化、可视化、多元化、智慧化…

oracle存储过程调试

oracle如果存储过程比较复杂,我们要定位到错误就比较困难,那么可以存储过程的调试功能 先按简单的存储过程做个例子,就是上次做的存储过程(proc_test) 1、先在数据库的procedures文件找到我们之前创建存储过程 2、选…

C语言实现:从sm2 PEM文件中提取公钥和私钥因子

我们知道使用openssl命令行从国密sm2的pem中提公钥私钥因子的命令行如下: openssl ec -in sm2_test_priv.pem -text -noout 从私钥pem提取私钥openssl ec -pubin -in sm2_test_pub.pem -text -noout 从公钥pem提取公钥 以私钥提取为例,那么以上部分&am…

新加坡GAIR 2023:AI 绽放之时

2023年8月14日,第七届GAIR全球人工智能与机器人大会,在新加坡乌节大酒店拉开帷幕。 大会共开设10个主题论坛,聚焦大模型时代下的AIGC、Infra、生命科学、教育,SaaS、web3、跨境电商等领域的变革创新。这是国内首个出海的AI顶级论坛…

绘制区块链之链:解码去中心化、安全性和透明性的奇迹

区块链技术以其去中心化、安全性和透明性等特点在全球范围内引起了广泛的关注和兴趣。区块链是一种分布式账本技术,通过将数据以不可篡改的方式链接在一起,创建了一个安全可靠的数据库。这种革命性的技术正在许多领域中发挥作用,包括加密货币…

【Linux】临界资源和临界区

目录 一、临界资源 二、如何实现对临界资源的互斥访问 1、互斥量 2、信号量 3、临界区 三、临界区 四、进程进入临界区的调度原则 一、临界资源 概念:临界资源是一次仅允许一个进程使用的共享资源,如全局变量等。 二、如何实现对临界资源的互斥访问 …

【Java】基础练习(十)

1.判断邮箱 输入一个电子邮箱,判断是否是正确电子邮箱地址。 正确的邮箱地址: 必须包含 字符,不能是开头或结尾必须以 .com结尾和.com之间必须有其他字符 (1) Email类: package swp.kaifamiao.codes.Java.d0823; /** 输入一个…

从互联网到车企做测试,什么体会?

互联网软件测试,能跨到车企做测试么? 这是我之前在某个群里划水看到一位小伙伴提出过的问题,当时我并没有回答,不过这个主题我倒是记在了草稿里,因为我自己就是这样的经历,留着后面有时间写一些内容分享一…

了解混淆矩阵和方差分析分数之间的差异

一、说明 开始都本文之前,需要读者预先知道两个概念,方差分析、混淆矩阵;本文将对两者的异同点进行分析。 二、混淆矩阵、方差分析 2.1 混淆矩阵 混淆矩阵就像一个图表,可以帮助我们了解机器学习模型的表现如何。想象一下&#xf…

【洛谷算法题】P1000-超级玛丽游戏【入门1顺序结构】

👨‍💻博客主页:花无缺 欢迎 点赞👍 收藏⭐ 留言📝 加关注✅! 本文由 花无缺 原创 收录于专栏 【洛谷算法题】 文章目录 【洛谷算法题】P1000-超级玛丽游戏【入门1顺序结构】🌏题目描述🌏输入格…

深入理解linux内核--进程间通信

管道 管道(pipe)是所有Unix都愿意提供的一种进程间通信机制。管道是进程之间的一个单向数据流: 一个进程写入管道的所有数据都由内核定向到另一个进程,另一个进程由此就可以从管道中读取数据。 在Unix的命令shell中,可以使用“1”操作符来创…

银河麒麟arm版服务器安装docker

安装 在线安装:输入下面命令,等待安装完成即可 #关闭防火墙 systemctl stop firewalld.service systemctl disable firewalld.serviceyum install -y docker# 修改docker拉取源为国内 rm -rf /etc/docker mkdir -p /etc/docker touch /etc/docker/da…

第8天----【位运算进阶之----异或(^)】

今天我们来学习C语言中的异或。 文章目录 一、基本知识:异或操作满足的定律:(important) 二、拓展应用:1. 交换两个变量的值:2. 判断两个数的奇偶性:3. 检测落单的数(出现奇数次的数):检测丢失的数: 4. 加密…

伴儿行“共享七彩童年”红色教育讲堂篇

迎着徐徐海风,一群青少年缓缓漫步于刘公岛的海岸线,在威海市环翠区伴儿行青少年服务中心老师的带领下,一场沉浸式的红色教育讲堂在百年后的甲午海战战场拉开帷幕。 从甲午海战的前期国际形势讲到当今的国际国内形势,从甲午清朝海军…

SpringCloud学习笔记(六)_Ribbon服务调用

Ribbon介绍 Spring Cloud Ribbon是基于Netflix Ribbon实现的一套客户端负载均衡的工具 Ribbon是Netflix发布的开源项目,主要功能是提供客户端的软件负载均衡算法和服务调用。Ribbon客户端组件提供一系列完善的配置项如连接超时、重试等。简单的说,就是…

【HCIP】15.MPLS基础

多协议标签交换 MPLS位于TCP/IP协议栈中的数据链路层和网络层之间,可以向所有网络层提供服务。 通过在数据链路层和网络层之间增加额外的MPLS头部,基于MPLS头部实现数据快速转发。 术语 MPLS域(MPLS Domain):一系列…

EL0读取arm寄存器获取时间的方法

快速链接: . 👉👉👉 个人博客笔记导读目录(全部) 👈👈👈 付费专栏-付费课程 【购买须知】:【精选】ARMv8/ARMv9架构入门到精通-[目录] 👈👈👈思考: 如何在EL0获取当前系统时间?如何在Userspace获取当前系统时间?在EL0可以通过读取ARM寄存器,获取系统的…

Mongodb两种启动方法

一、命令行启动 1.修改存放数据库的位置 说明:E:\data\mongodb;我在E盘创建的文件夹mongodb mongod --dbpathE:\data\mongodb 2.成功启动 说明:默认端口27017,代表已经启动成功 ,并在mongodb自动创建文件 二、配置项…

Time-harmonic Maxwell’s equations

参考文献:Preconditioners and their analyses for edge element saddle-point systems arising from time-harmonic Maxwell’s equations

战略是通过分析战领一个位置

战略定位派:战略形成是一个分析过程【安志强趣讲266期】 趣讲大白话:占个有利位置 **************************** 定位通俗讲就是占个有利位置 企业界“心智定位”和“战略定位”吵得很凶 定位这个词最先由特劳特提出,营销要占领消费者的心智…