将数据帧写入为镶木地板会创建空文件

Question

我正在尝试使用存储桶技术对 Spark 作业进行一些性能优化。我正在读取.parquet和.csv文件并进行一些转换。在我执行存储桶并加入两个数据帧之后。然后我正在写加入 DF 到镶木地板，但我有一个空的 ~500B 文件而不是500Mb.

• Cloudera (cdh5.15.1(
• 火花 2.3.0

• 斑点

  val readParquet = spark.read.parquet(inputP)
  readParquet
      .write
      .format("parquet")
      .bucketBy(23, "column")
      .sortBy("column")
      .mode(SaveMode.Overwrite)
      .saveAsTable("bucketedTable1")
  val firstTableDF = spark.table("bucketedTable1")
  val readCSV = spark.read.csv(inputCSV)
  readCSV
      .filter(..)
      .ordrerBy(someColumn)
      .write
      .format("parquet")
      .bucketBy(23, "column")
      .sortBy("column")
      .mode(SaveMode.Overwrite)
      .saveAsTable("bucketedTable2")
  val secondTableDF = spark.table("bucketedTable2")
  val resultDF = secondTableDF
      .join(firstTableDF, Seq("column"), "fullouter")
      .
      .
  resultDF
      .coalesce(1)
      .write
      .mode(SaveMode.Overwrite)
      .parquet(output)
  

当我使用ssh在命令行中启动 Spark 作业时，我得到了正确的结果，~500Mb我可以使用 Hive 看到的镶木地板文件。如果我使用 oozie 工作流运行相同的作业，我有一个空文件 ( ~500 Bytes (。当我在resultDF上.show()时，我可以看到数据，但我有空的镶木地板文件。

+-----------+---------------+----------+
|       col1|          col2 |      col3|
+-----------+---------------+----------+
|33601234567|208012345678910|       LOL|
|33601234567|208012345678910|       LOL|
|33601234567|208012345678910|       LOL|

当我不将数据另存为表格时，写入镶木地板没有问题。它仅发生在从表创建的 DF 中。

有什么建议吗？

提前感谢您的任何想法！

Answer 1

我想通了我的情况，我只是添加了一个选项.option("path", "/sources/tmp_files_path").现在我可以使用存储桶，并且我的输出文件中有一个数据。

readParquet
  .write
  .option("path", "/sources/tmp_files_path")
  .mode(SaveMode.Overwrite)
  .bucketBy(23, "column")
  .sortBy("column")
  .saveAsTable("bucketedTable1")