我想从第二行写入,同时使用 Apache Spark (Scala API) 将数据帧写入 csv 文件



将数据帧写入文件时csv如下所示:

df.write.format("com.databricks.spark.csv").option("header", "true").save("file.csv") 

它总是从第一行开始写作,但我想从第二行开始写作。如何从第二行开始书写?

您可以执行以下步骤来实现此目的。

  1. 使用 df.first() 获取第一行对象。
  2. 使用filter方法基于此行筛选原始数据帧。
  3. 您可以使用代码将筛选的数据帧保存为 CSV。

希望这有帮助!

最新更新