如下图所示,spark UI中的持续时间、批处理持续时间和处理时间有什么区别?
感谢
Spark UI图片
1分钟的batch duration
告诉您的Spark流应用程序以1分钟为一个批次工作,这意味着它每分钟计划一个RDD。创建SparkSession时,您可以在代码中设置此持续时间。
processing time
告诉Spark处理所有输入数据(以input data size
的形式提供(需要34秒。
duration
让您了解在应用程序中完成特定作业所需的时间。
持续时间是挂钟。处理时间是所有作业持续时间的总和。