如何打印"spark.driver.maxResultSize"的值？

Question

我使用spark-submit运行我的应用程序，并将conf设置如下：

 val conf = new SparkConf(true)
  .set("spark.cassandra.connection.host","192.168.1.131")
  .set("spark.cassandra.auth.username","username")
  .set("spark.cassandra.auth.password","password")
  .set("spark.driver.maxResultSize", "4G")
  .set("spark.executor.memory", "4G")
val sc = new SparkContext("spark://192.168.1.120:7077", "just for fun", conf)

我想知道我的设置spark.driver.maxResultSize是否正常工作，所以我想打印它的值，但我不知道该怎么做？任何建议都将不胜感激！

Answer 1

这一行可能会对您有所帮助：

println(conf.get("spark.driver.maxResultSize"))

但是，在提交作业后，检查Spark UI上Environment选项卡下的Spark Properties表会更合适。