【Spark编程基础】实验一Spark编程初级实践（附源代码）

news2024/11/17 9:57:08

文章目录

一、实验目的
二、实验平台
三、实验内容和要求
- 1. 计算级数
- 2. 模拟图形绘制
- 3.统计学生成绩

一、实验目的

1.掌握 Scala 语言的基本语法、数据结构和控制结构；
2.掌握面向对象编程的基础知识，能够编写自定义类和特质；
3.掌握函数式编程的基础知识，能够熟练定义匿名函数。熟悉 Scala 的容器类库的基本
层次结构，熟练使用常用的容器类进行数据；
4.熟练掌握 Scala 的 REPL 运行模式和编译运行方法。

二、实验平台

操作系统：Ubuntu16.04；
Spark 版本：2.1.0；
Hadoop 版本：2.7.1。

三、实验内容和要求

1. 计算级数

请用脚本的方式编程计算并输出下列级数的前 n 项之和 Sn，直到 Sn 刚好大于或等于 q
为止，其中 q 为大于 0 的整数，其值通过键盘输入。

例如，若 q 的值为 50.0 ，则输出应为：Sn=50.416695请将源文件保存为 exercise2-1.scala，在REPL模式下测试运行，测试样例：q=1时，Sn=2；q=30时，Sn=30.891459；
q=50 时，Sn=50.416695。

scala> import io.StdIn._
import io.StdIn._
scala> var Sn:Float = 0 
Sn: Float = 0.0
scala> var n:Float=1 
n: Float = 1.0
scala> println("please input q:") 
please input q:
scala> val q = readInt()
q: Int = 50

scala> while(Sn<q){ 
     | Sn+=(n+1)/n 
     | n+=1
     | }

scala> println(s"Sn=$Sn")
Sn=50.416695

2. 模拟图形绘制

对于一个图形绘制程序，用下面的层次对各种实体进行抽象。定义一个 Drawable 的特质，其包括一个 draw 方法，默认实现为输出对象的字符串表示。定义一个 Point 类表示点其混入了 Drawable 特质，并包含一个 shift 方法，用于移动点。所有图形实体的抽象类为 Shape，其构造函数包括一个 Point 类型，表示图形的具体位置（具体意义对不同的具体图形不一样）。Shape 类有一个具体方法 moveTo 和一个抽象方法 zoom，其中 moveTo 将图形从当前位置移动到新的位置，各种具体图形的 moveTo 可能会有不一样的地方。zoom 方法实现对图形的放缩，接受一个浮点型的放缩倍数参数，不同具体图形放缩实现不一样。继承Shape 类的具体图形类型包括直线类 Line 和圆类 Circle。Line 类的第一个参数表示其位置，第二个参数表示另一个端点，Line 放缩的时候，其中点位置不变，长度按倍数放缩（注意，缩放时，其两个端点信息也改变了），另外，Line 的 move 行为影响了另一个端点，需要对move 方法进行重载。Circle 类第一个参数表示其圆心，也是其位置，另一个参数表示其半径，Circle 缩放的时候，位置参数不变，半径按倍数缩放。另外直线类 Line 和圆类 Circle都混入了 Drawable 特质，要求对 draw 进行重载实现，其中类 Line 的 draw 输出的信息样式为“Line:第一个端点的坐标–第二个端点的坐标)”，类 Circle 的 draw 输出的信息样式为“Circle center:圆心坐标,R=半径”。如下的代码已经给出了 Drawable 和 Point 的定义，同时也给出了程序入口 main 函数的实现，请完成 Shape 类、Line 类和 Circle 类的定义。

case class Point(var x:Double,var y:Double) extends Drawable{
  def shift(deltaX:Double,deltaY:Double){x+=deltaX;y+=deltaY}
}
//特征
trait Drawable{
  def draw(){println(this.toString)}
}

//图形抽象类
abstract class Shape(var point: Point){
  var r=4.0
  def moveTo(point2: Point): Unit ={
    point=point2
  }
  // 抽象方法没有方法体
  def zoom(b:Double): Unit
  //圆形构造函数
  def this(cpoint: Point, cr:Double){
    //第一行必须要先调用默认的构造函数
    this(cpoint: Point)
    this.r=cr
  }
  //直线构造函数
  def this(lpoint:Point,lpoint2:Point){
    this(lpoint: Point)

  }
}
//圆形
class Circle(point: Point,R:Double) extends Shape(point: Point) with Drawable{
  r=R
  //重写，对图形放大，半径放大
  override def zoom(b:Double): Unit = {
    r = r * b
  }
  //重写，打印
  override def draw(): Unit ={
    var toString="Circle center:("+point.x+","+point.y+")\t"+"R="+r
    println(toString)
  }
  //重写，移动
  override def moveTo(point2: Point): Unit ={
    point.x=point2.x
    point.y=point2.y
  }
}
//直线
class Line(point: Point, point1: Point)extends Shape(point: Point) with Drawable{
  //重写，对图形放大
  override def zoom(b:Double): Unit = {
    var xmid=(point1.x+point.x)/2   //寻找中点坐标
    var ymid=(point1.y+point.y)/2
    point.x=xmid-(xmid-point.x)*b
    point.y=ymid-(ymid-point.y)*b
    point1.x=xmid+(point1.x-xmid)*b
    point1.y=ymid+(point1.y-ymid)*b
  }
  //重写，打印
  override def draw(): Unit ={
    var toString="Line:("+point.x+","+point.y+")--"+"（"+point1.x+","+point1.y+")"
    println(toString)
  }
  //重写，移动
  override def moveTo(point2: Point): Unit ={
    point1.x=point1.x+point2.x-point.x
    point1.y=point1.y+point2.y-point.y
    point.x=point2.x
    point.y=point2.y
  }
}

object  MyDraw {
  def main(args: Array[String]) {
    val p=new Point(10,30)
    p.draw;

    val line1 = new Line(Point(0,0),Point(20,20))
    line1.draw
    line1.moveTo(Point(5,5)) //移动到一个新的点
    line1.draw
    line1.zoom(2) //放大两倍
    line1.draw
    
    val cir= new Circle(Point(10,10),5)
    cir.draw
    cir.moveTo(Point(30,20))
    cir.draw
    cir.zoom(0.5)
    cir.draw

  }
}

3.统计学生成绩

学生的成绩清单格式如下所示，第一行为表头，各字段意思分别为学号、性别、课程名 1、课程名 2 等，后面每一行代表一个学生的信息，各字段之间用空白符隔开
Id gender Math English Physics
301610 male 80 64 78
301611 famale 65 87 58
给定任何一个如上格式的清单（不同清单里课程数量可能不一样），要求尽可能采用函数式编程，统计出各门课程的平均成绩，最低成绩，和最高成绩；另外还需按男女同学分开，分别统计各门课程的平均成绩，最低成绩，和最高成绩。

object scoreReport{ 
def main(args: Array[String]) { 
val inputFile = scala.io.Source.fromFile("test.txt") 
val originalData = 
inputFile.getLines.map{_.split("\\s+")} .toList 
val courseNames = originalData.head.drop(2) //获取第一行中的课程名 
val allStudents = originalData.tail // 去除第一行剩下的数据 
val courseNum = courseNames.length 

def statistc(lines:List[Array[String]])= { 

(for(i<- 2 to courseNum+1) yield { 
val temp = lines map {elem=>elem(i).toDouble} 
(temp.sum,temp.min,temp.max) 
}) map {case (total,min,max) => (total/lines.length,min,max) 
} // 最后一个 map 对 for 的结果进行修改，将总分转为平均分 
} 
// 输出结果函数 
def printResult(theresult:Seq[(Double,Double,Double)]){ 
// 遍历前调用 zip 方法将课程名容器和结果容器合并，合并结果为二元组容器 
(courseNames zip theresult) foreach { 
case (course,result)=> 
println(f"${course+":"}%-10s${result._1}%5.2f${result._2}%8.2f${result._3}%8.2f") 
} 
} 
// 分别调用两个函数统计全体学生并输出结果 
val allResult = statistc(allStudents) 
println("course average min max") 
printResult(allResult) 
//按性别划分为两个容器 
val (maleLines,femaleLines) = allStudents partition 
{_(1)=="male"} 
// 分别调用两个函数统计男学生并输出结果 
val maleResult = statistc(maleLines) 
println("course average min max") 
printResult(maleResult) 
// 分别调用两个函数统计男学生并输出结果 
val femaleResult = statistc(femaleLines) 
println("course average min max") 
printResult(femaleResult) 
} 
}