原始代码如下:
val conf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("wordcount")
val sc=new SparkContext(conf)
val rdd: RDD[Int] = sc.makeRDD(List(1,2,3,4)
//将处理的数据保存分区文件
rdd.saveAsTextFile("output2")
sc.stop()
makeRDD方法可以传第二个参数,这个参数表是分区的数量
第二个参数可以不传递有默认值:defaultParallelism(默认的并行度)
默认的并行度调用的是backend.defaultParallelis()方法
TaskSchedulerImpl.scala
SchedulerBackend.scala
spark在默认情况下,从配置对象中获取配置参数 spark.default.parallelism
// 如果获取不到,那么使用totalCores属性,这个属性是当前运行环境的最大可用核数
按照代码举例,当没有设置parallelism参数时最后执行的结果如图
本人处理器
有个问题需要注意一下:
setMaster("local[*]") 使用的是所有的核数
setMaster("local")使用的是单核
总结:
//makeRDD方法可以传第二个参数,这个参数表是分区的数量
//第二个参数可以不传递有默认值:defaultParallelism(默认的并行度)
//默认的并行度调用的是backend.defaultParallelis()方法
// 最后调用scheduler.conf.getInt("spark.default.parallelism", totalCores)
// spark在默认情况下,从配置对象中获取配置参数 spark.default.parallelism
// 如果获取不到,那么使用totalCores属性,这个属性是当前运行环境的最大可用核数