java.util.NoSuchElementException: spark.executor.cores



我正试图用以下代码计算每个执行器中的内核数量:

sqlContext.sparkContext.getConf.get("spark.executor.cores").toInt

然而,我得到了这个错误:

spark.executor.cores
java.util.NoSuchElementException: spark.executor.cores
    at org.apache.spark.SparkConf$$anonfun$get$1.apply(SparkConf.scala:193)
    at org.apache.spark.SparkConf$$anonfun$get$1.apply(SparkConf.scala:193)
    at scala.Option.getOrElse(Option.scala:120)

为什么会失败?

这很有效:

sqlContext.sparkContext.getConf.getInt("spark.executor.cores", -1)

最新更新