Spark-Scala语言实战(5)

news2024/11/17 15:44:47

在之前的文章中,我们学习了如何在scala中定义与使用集合和元组。想了解的朋友可以查看这篇文章。同时,希望我的文章能帮助到你,如果觉得我的文章写的不错,请留下你宝贵的点赞,谢谢。

Spark-Scala语言实战(4)-CSDN博客icon-default.png?t=N7T8https://blog.csdn.net/qq_49513817/article/details/136881756?spm=1001.2014.3001.5501

目录

一、知识回顾

二、Scala类与对象

1.类(Class)和对象(Object)

Person类:

PersonApp对象:

2.构造器(Constructor)

PersonApp对象:

局部类Person:

对象创建和方法调用:

3.伴生对象(Companion Objects)

三、例题演练

 1、定义一个高阶函数

2、定义一个高阶函数

3、对数据中的元素按照指定规则进行分组

4、根据指定规则对数组所有元素聚合

拓展-类和对象


一、知识回顾

 在上一篇函数中,我们学习了集合,创建集合的方法有三种,分别是List、Set和map

 

 

 而我们的元组,则不需要用特殊的关键字,可以直接创建

 现在,开始今天的学习吧

二、Scala类与对象

1.类(Class)和对象(Object)

 类定义了对象的属性和方法。在Scala中,我们可以使用class关键字来定义一个类。而对象是类的实例,我们可以使用new关键字来创建类的对象。

例:

package com.tipdm.scalaDemo

object PersonApp {
  def main(args: Array[String]): Unit = {
    // 创建Person对象
    val peng = new Person
    // 设置属性
    peng.name = "peng"
    peng.age = 18
    // 调用方法
    peng.introduce()  // 应该输出: Hello, my name is peng and I am 18 years old.
  }
}

class Person {
  var name: String = _
  var age: Int = _

  def introduce(): Unit = {
    println(s"Hello, my name is $name and I am $age years old.")
  }
}

在我的代码中,我运用到了:

  1. Person类
    • 定义了一个名为Person的类。
    • 类中有两个变量(属性):name(表示人的名字)和age(表示人的年龄)。这两个变量都被初始化为占位符_,表示它们可以在创建对象后被赋予具体的值。
    • 类中定义了一个方法introduce,这个方法没有参数,返回类型为Unit(相当于Java中的void)。当调用这个方法时,它会打印出一条包含nameage属性值的问候信息。
  2. PersonApp对象
    • 定义了一个名为PersonApp的单例对象。在Scala中,单例对象类似于Java中的静态类或单例类,用于包含程序的入口点或其他共享功能。
    • PersonApp对象中包含一个main方法,这是Scala应用程序的入口点。当你运行Scala程序时,JVM会调用这个main方法开始执行程序。
    • main方法中,首先创建了一个Person类的实例peng
    • 然后,通过peng对象设置了name属性为"peng"age属性为18
    • 最后,调用了peng对象的introduce方法,该方法会打印出一条问候信息,内容应该是:“Hello, my name is peng and I am 18 years old.”。

看一下输出吧

2.构造器(Constructor)

 Scala的类可以有一个或多个构造器,它们用于初始化对象的属性。在Scala中,主构造器的参数直接定义在类定义中,而辅助构造器使用this关键字来调用。

package com.tipdm.scalaDemo

object PersonApp {
  def main(args: Array[String]): Unit = {
    class Person(val name: String, val age: Int) {
      def introduce(): Unit = {
        println(s"Hello, my name is $name and I am $age years old.")
      }
    }

    val bob = new Person("peng", 18)
    bob.introduce() // 输出: Hello, my name is peng and I am 18 years old.
   }
}

在以上代码中,我的方法是:

  1. PersonApp对象
    • 定义了一个名为PersonApp的单例对象,它是程序的入口点。
    • PersonApp对象内部定义了main方法,这是Scala应用程序的入口点。
  2. 局部类Person
    • main方法内部定义了一个局部类Person。这个类接受两个参数:name(表示人的名字)和age(表示人的年龄)。这两个参数被声明为val,意味着它们是不可变的,并且在对象创建时就需要被初始化。
    • 类中定义了一个方法introduce,用于打印出一条包含nameage属性值的问候信息。
  3. 对象创建和方法调用
    • main方法中,创建了一个Person类的实例bob,并传入了名字"peng"和年龄18作为构造参数。
    • 接着调用了bob对象的introduce方法,该方法会打印出一条问候信息。

3.伴生对象(Companion Objects)

 在Scala中,每个类都有一个与之关联的伴生对象。这个对象与类共享相同的名称,并且它的定义位于类定义的外部。伴生对象可以包含静态方法或字段,这些方法和字段可以通过类名直接访问。

package com.tipdm.scalaDemo

object PersonApp {
  object PersonUtils {
    def greet(name: String): Unit = {
      println(s"Hello, $name!")
    }
  }

  class Person(val name: String) {
    def introduce(): Unit = {
      println(s"My name is $name.")
    }
  }
}

object Main {
  def main(args: Array[String]): Unit = {
    PersonApp.PersonUtils.greet("peng") //
    val charlie = new PersonApp.Person("peng")
    charlie.introduce()
  }
}

看下输出:

三、例题演练

 1、定义一个高阶函数

按照指定的规则对集合里面的每个元素进行操作 比如: Array(“hh”,“red”,“java”,“hadoop”) 规则: 对集合中每个元素进行操作,得到集合每个元素的长度

package com.tipdm.scalaDemo

object p6 {
  def main(args: Array[String]): Unit = {
    def ppp(arr: Array[String]): Array[Int] = {
      arr.map(element => element.length)
    }

    val array = Array("hh", "red", "java", "hadoop")
    val lengths = ppp(array)
    val p = lengths.toList // 将数组转换为列表
    println(p) // 输出: List(2, 3, 4, 6)
  }
}

 

2、定义一个高阶函数

对数据中的元素按照指定的规则进行过滤 比如: Array(1,4,7,9,10,6,8,99,88,66) 规则: 只保留偶数数据

package com.tipdm.scalaDemo

object p6 {
  def main(args: Array[String]): Unit = {
    def peng(arr: Array[Int]): Array[Int] = {
      arr.filter(number => number % 2 == 0)
    }

    val numbers = Array(1, 4, 7, 9, 10, 6, 8, 99, 88, 66)
    val ppp = peng(numbers)
    val p1 = ppp.toList // 将数组转换为列表
    println(p1) // 输出: List(4, 10, 6, 88, 66)
  }
}

 

3、对数据中的元素按照指定规则进行分组

比如:Array(“zhangsan shenzhen man”,“lisi beijing woman”,“zhaoliu beijing man”) 规则: 按照地址进行分组

package com.tipdm.scalaDemo

object p6 {
  def main(args: Array[String]): Unit = {
    def p1(arr: Array[String]): Map[String, List[String]] = {
      arr.groupBy(person => person.split(" ")(1)).mapValues(_.toList) // 将每个地址对应的数组转换为列表
    }

    val people = Array("zhangsan shenzhen man", "lisi beijing woman", "zhaoliu beijing man")
    val newp1 = p1(people)
    println(newp1)
  }
}

 

.mapValues(_.toList): 由于groupBy返回的映射的值是数组,所以这里使用mapValues方法来转换这些数组为列表。_.toList是一个简短的lambda表达式,它接受一个数组并返回该数组的列表形式。

 

4、根据指定规则对数组所有元素聚合

比如:Array(10,4,6,10,2) 规则: 求和/求乘积

求和
package com.tipdm.scalaDemo

object p6 {
  def main(args: Array[String]): Unit = {
    def peng(arr: Array[Int]): Int = {
      arr.sum
    }

    val pp = Array(10, 4, 6, 10, 2)
    val sum = peng(pp)
    println(sum) // 输出: 32
  }
}


求乘积
package com.tipdm.scalaDemo

object p6 {
  def main(args: Array[String]): Unit = {
    def peng(arr: Array[Int]): Int = {
      arr.product
    }

    val pp = Array(10, 4, 6, 10, 2)
    val product = peng(pp)
    println(product) // 输出: 4800

  }
}

 

拓展-类和对象

示例

方法名称描述
__init__构造函数,用于初始化对象的状态。在创建对象时自动调用。
get_attribute获取对象的某个属性值。
set_attribute设置对象的某个属性值。
do_action执行某个操作或任务,可能涉及修改对象的状态或与其他对象交互。
is_condition_met检查对象的某个条件是否满足,并返回布尔值。
calculate_result执行计算并返回结果。
compare_to将当前对象与另一个对象进行比较,并返回比较结果。
to_string将对象转换为字符串表示形式。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1537999.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

后端程序员入门react笔记(九)- react 插件使用

setState setState引起的react的状态是异步的。操作完毕setState之后如果直接取值,可能取不到最新的值,我们举个例子console.log(this.state.num)打印的值,总是上一次的值而不是最新的。 import React, {Component} from react; class Ap…

Day41:WEB攻防-ASP应用HTTP.SYS短文件文件解析Access注入数据库泄漏

目录 ASP-默认安装-MDB数据库泄漏下载 ASP-中间件-CVE&短文件&解析&写权限 HTTP.SYS(CVE-2015-1635)主要用作蓝屏破坏,跟权限不挂钩 IIS短文件(iis全版本都可能有这个问题) IIS文件解析 IIS写权限 ASP-SQL注入-SQLMAP使用…

Java安全 反序列化(5) CC6链原理分析

Java安全 反序列化(5) CC6链原理分析 CC6学习的目的在于其可以无视jdk版本,这条链子更像CC1-LazyMap和URLDNS链子的缝合版 文章目录 Java安全 反序列化(5) CC6链原理分析前言一.CC6的原理和实现以及易错点我们如何实现调用LazyMap.get()方法一个易错点 二.完整CC6P…

Kafka 3.x(上)

具体课程请看课程简介_哔哩哔哩_bilibili 概念 分布式流处理平台,它以高吞吐量和可扩展性而闻名。相同类型的消息存在于Topic主题中,主题类似于数据库中的表,不过主题存储的数据大多是半结构化的。主题可以包含多个分区(分布式的…

Flink:维表 Join 难点和技术方案汇总

博主历时三年精心创作的《大数据平台架构与原型实现:数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行,点击《重磅推荐:建大数据平台太难了!给我发个工程原型吧!》了解图书详情,…

Vue模块化开发步骤—遇到的问题—解决办法

目录 1.npm install webpack -g 2.npm install -g vue/cli-init 3.初始化vue项目 4.启动vue项目 Vscode初建Vue时几个需要注意的问题-CSDN博客 1.npm install webpack -g 全局安装webpack 直接命令提示符运行改指令会报错,operation not permitted 注意&#…

软件推荐 篇三十七:开源免费无广告的在线音乐免费播放 | MusicFree纯净无广告体验-小众冷门推荐

引言 自从QQ音乐没了杰伦、某云开始收费,除了各种广告弹窗导致电脑卡的要死,打工人就靠这点音乐背景熬夜了,木有办法,得有个开源免费的听歌软件吧,一搜github,软件一大堆,作为一个打工仔&#…

python--for循环

for循环: python中的for循环是用来迭代容器中的每一个元素的,而不是c,java中理解那个循环; for 零时变量 in 容器: print(零时变量) #每一个迭代出的元素 range 全局函数: …

10、chrome拓展程序的实现

一、拓展程序的实现 拓展程序项目的构成 和前端项目一样,拓展程序也是有Html、CSS、JS文件实现的,现在看来它就是一个静态的前端页面。但是不同的是,拓展程序中还需要额外的一个清单文件,就是manifest.json,清单文件可…

Saltstack 最大打开文件数问题之奇怪的 8192

哈喽大家好,我是咸鱼。 今天分享一个在压测过程中遇到的问题,当时排查这个问题费了我们好大的劲,所以我觉得有必要写一篇文章来记录一下。 问题出现 周末在进行压测的时候,测试和开发的同事反映压测有问题,请求打到…

在 Linux/Ubuntu/Debian 上安装 SQL Server 2019

Microsoft 为 Linux 发行版(包括 Ubuntu)提供 SQL Server。 以下是有关如何执行此操作的基本指南: 注册 Microsoft Ubuntu 存储库并添加公共存储库 GPG 密钥: sudo wget -qO- https://packages.microsoft.com/keys/microsoft.as…

活动回顾 | 走进华为向深问路,交流数智办公新体验

3月20日下午,“企业数智办公之走进华为”交流活动在华为上海研究所成功举办。此次活动由上海恒驰信息系统有限公司主办,华为云计算技术有限公司和上海利唐信息科技有限公司协办,旨在通过对企业数字差旅和HR数智化解决方案的交流,探…

企业网络基础设施物理安全面临全新挑战

企业网络基础设施的物理安全是确保业务连续性和数据完整性的关键组成部分。随着技术的发展和环境的变化,这些基础设施面临着新的挑战。以下是一些主要的挑战和的解决方案 一、机房、仓库、档案馆物理安全事件频发的挑战: 1.电力安全事件:市…

Bumblebee双目测量基本原理

一.双目视觉原理 双目立体视觉三维测量是基于视差原理。 图 双目立体成像原理 因此,左相机像面上的任意一点只要能在右相机像面上找到对应的匹配点,就可以确定出该点的三维坐标。这种方法是完全的点对点运算,像面上所有点只要存在相应的匹配点,就可以参与上述运算,从而获…

代码随想录笔记|C++数据结构与算法学习笔记-二叉树(一)|二叉树的递归遍历、二叉树的迭代遍历、二叉树的统一迭代法

全文基于代码随想录及相关讲解视频。 文字链接:《代码随想录》 文章目录 二叉树的递归遍历二叉树的前序遍历C代码如下 二叉树的中序遍历二叉树的后序遍历 二叉树的迭代遍历前序遍历前序遍历C代码 右序遍历右序遍历C代码 中序遍历为什么中序遍历不同中序遍历迭代法的…

【C#】使用C#窗体应用开启/停止Apache、MySQL服务

目录 一、前言 二、效果图 三、配置文件 四、代码 五、一键启动/停止所有服务 一、前言 使用C#窗体应用开启Apache、MySQL服务,不仅仅是Apache、MySQL,其他服务也可以使用同样的方法操作,包括开启自己写的脚本服务。 二、效果图 两种状…

【大数据】五、yarn基础

Yarn Yarn 是用来做分布式系统中的资源协调技术 MapReduce 1.x 对于 MapReduce 1.x 的版本上: 由 Client 发起计算请求,Job Tracker 接收请求之后分发给各个TaskTrack进行执行 在这个阶段,资源的管理与请求的计算是集成在 mapreduce 上的…

TCP重传机制详解——01概述

文章目录 TCP重传机制详解——01概述什么是TCP重传?TCP为什么要重传?TCP如何做到重传?TCP重传方式有哪些超时重传(timeout or timer-based retransmission)快速重传(fast retransmission或者fast retransmit)改进的重传机制,早期重…

单机模拟分布式MINIO(阿里云)

拉取的最新MINIO: minio version RELEASE.2024-03-15T01-07-19Z Runtime: go1.21.8 linux/amd64 分布式 MinIO 至少需要4个节点,也就意味着至少4个硬盘,对于囊中羞涩仅用来开发测试的人来说,这笔花销还是比较高昂。有没有更好的…

手机可以看到电脑在干什么吗

手机与电脑之间的连接与互动已成为我们日常生活和工作中的常态。 那么,一个常被提及的问题是:手机可以看到电脑在干什么吗? 答案是肯定的。 随着技术的不断进步,我们现在已经可以通过多种方式实现手机对电脑操作的实时监控。 首…