前言
我们在用代码写spark程序的时候,如果要设置一些配置参数,可以通过:
-
SparkConf
val conf = new SparkConf() .setMaster("local[2]") .setAppName("CountingSheep") val sc = new SparkContext(conf)
-
spark-submit
./bin/spark-submit --name "My app" --master local[4] --conf spark.eventLog.enabled=false --conf "spark.executor.extraJavaOptions=-XX:+PrintGCDetails - XX:+PrintGCTimeStamps" myApp.jar
如果我们在sparksql cli或者sparksql执行一些sql脚本的时候,我们要设置一些参数或取消参数就得用sparksql的set和unset命令。</