我有一个azure databricks作业，它是通过ADF使用api调用触发的。我想知道为什么这项工作要花n分钟才能完成任务。当作业执行结果时，作业执行时间显示为15分钟，单个单元格/命令加起来甚至不超过4-5分钟
在触发此操作时，交互式集群已经启动并运行。请告诉我为什么单个单元执行时间总和与总体作业执行时间不匹配?我在哪里可以看到是什么占用了额外的时间?
请按照下面的参考，它有详细的说明:
-
数据块笔记本中命令单元的执行时间。
-
测量Apache Spark工作负载指标的性能。
参考:
如何测量Spark上查询的执行时间
https://db-blog.web.cern.ch/blog/luca-canali/2017-03-measuring-apache-spark-workload-metrics-performance-troubleshooting
https://spark.apache.org/docs/latest/monitoring.html