在spark ui中,持续时间与处理时间与批次持续时间之间有什么区别



如下图所示,spark UI中的持续时间、批处理持续时间和处理时间有什么区别?

感谢

Spark UI图片

1分钟的batch duration告诉您的Spark流应用程序以1分钟为一个批次工作,这意味着它每分钟计划一个RDD。创建SparkSession时,您可以在代码中设置此持续时间。

processing time告诉Spark处理所有输入数据(以input data size的形式提供(需要34秒。

duration让您了解在应用程序中完成特定作业所需的时间。

持续时间是挂钟。处理时间是所有作业持续时间的总和。

相关内容

  • 没有找到相关文章

最新更新