只显示前20行

Question

我有一个流数据集。它从Kafka流中读取数据并写入控制台。

val outputStream = inputStream.writeStream.format("console")
.option("truncate", value = false)
.option("checkpointLocation", "checkpoint")
outputStream.start()
spark.streams.awaitAnyTermination()

然而，当有多个记录时，我在控制台上得到一条消息:only showing top 20 rows

它只显示了20条记录。是否有一种方法来检索所有的记录?

Spark版本:3.1.2

Answer 1

有一个选项numRows，例如:10000

val outputStream = inputStream.writeStream.format("console")
.option("truncate", value = false)
.option("numRows",10000)
.option("checkpointLocation", "checkpoint")