Spark Streaming中的"Job Duration"和"Batch Processing Time"有什么区别?



我的应用程序在Spark UI中的作业持续时间如下:Spark UI 中的作业持续时间

以下是Spark UI中的批处理时间:Spark UI 中的批处理时间

请注意,批处理时间通常比作业持续时间长。那么,它们之间有什么区别呢?

Spark 将

批处理中的所有作业一起处理,以更好地利用 CPU 时间。这就是为什么批处理时间大于作业处理时间的原因。

最新更新