我正试图用以下代码计算每个执行器中的内核数量:
sqlContext.sparkContext.getConf.get("spark.executor.cores").toInt
然而,我得到了这个错误:
spark.executor.cores
java.util.NoSuchElementException: spark.executor.cores
at org.apache.spark.SparkConf$$anonfun$get$1.apply(SparkConf.scala:193)
at org.apache.spark.SparkConf$$anonfun$get$1.apply(SparkConf.scala:193)
at scala.Option.getOrElse(Option.scala:120)
为什么会失败?
这很有效:
sqlContext.sparkContext.getConf.getInt("spark.executor.cores", -1)