spark查询执行时间

Question

我安装了一个本地hadoop单节点和配置单元，并且在hdfs中存储了一些配置单元表。然后我用MySQL Metastore配置配置单元。现在我安装了spark，并对蜂窝表进行了一些查询，如下所示（在scala中）：

var hiveContext = new org.apache.spark.sql.hive.HiveContext(sc)
result = hiveContext.sql("SELECT * FROM USERS");
result.show

你知道如何配置spark来显示查询的执行时间吗？因为默认情况下，它不会显示。。

Answer 1

使用spark.time()。

var hiveContext = new org.apache.spark.sql.hive.HiveContext(sc) result = hiveContext.sql("SELECT * FROM USERS"); spark.time(result.show)

https://db-blog.web.cern.ch/blog/luca-canali/2017-03-measuring-apache-spark-workload-metrics-performance-troubleshooting