在Spark SQL Shell中设置Configuration值

Question

如何在spark SQL Shell中设置配置参数值？

在火花外壳中可以使用：

scala> spark.config.set("spark.sql.optimizer.excludeRules", "org.apache.spark.sql.catalyst.optimizer.PushDownPredicate");

但是，我想知道如何通过在spark-sql-shell中使用SET命令来执行同样的操作。我曾尝试在Spark-Sqlshell中使用SET命令，但它似乎不起作用。这是正确的方法吗？

类似于：

spark-sql> SET spark.sql.optimizer.excludeRules org.apache.spark.sql.catalyst.optimizer.PushDownPredicate;

如何使用SET命令？感谢您的帮助。

Answer 1

通过spark-sql:

SET spark.sql.optimizer.excludedRules=org.apache.spark.sql.catalyst.optimizer.PushDownPredicate

Answer 2

spark.sparkContext.hadoopConfiguration.set("spark.hadoop.fs.s3a.multiobjectdelete.enable", "false")

或

spark.sql("SET spark.sql.hive.metastore.version=2.3.2"). 
// spark: SparkSession