如何在具有特定大小/记录块的控制台上写入流数据

Question

我需要通过火花流读取 CSV 文件，并将输出流写入具有特定行/大小块的控制台。

使用火花流式处理readStream读取 CSV，writeStream在控制台中写入。

val df: DataFrame = sparkSession.readStream
      .option("sep", ",")
      .schema(userSchema)
      .csv("path")

val res: StreamingQuery = df.writeStream
      .format("console")
      .start()

我希望所有 50000 行都以 50 行的块显示在控制台中，但我只得到 20 行，或者我需要设置一个数字以显示在控制台中。

Answer 1

您可以通过在写入流上设置">numRows"属性来设置要显示的行数。

 df.writeStream
 .option("numRows",50)