Spark Streaming UI-输入行与输入速率



我的Spark应用程序(结构化流(显示的输入行数远远高于我发送给应用程序的记录数(在我的情况下,UI中的输入行总是实际记录数的21倍(。

我找不到确切的";输入行";方法我在某个地方读到,这与在数据集上执行的操作数量有关,但数学计算不起来。

感谢您的帮助。

输入行数只是一个批次中的总行数。例如,如果每20秒触发一次下一批,并且输入速率为10,那么您的输入行将为200。https://spark.apache.org/docs/latest/web-ui.html#structured-流式选项卡