如何以下拉格式发送数据框的输出

Question

我有一个任务是每天创建集群报告。我能够通过 Scala 代码读取每个作业的作业 ID 和状态。但是我无法以下拉格式存储每个日期的数据框输出。

前任

 Current DataFrame Output:
   Date    |  Job_Id | job_Status | Run_Time
   20180101|123      |Successful  |1m 
   20180102|234      |fail        |0s
 Required DataFrame Output
 Date
 20180101
     |_123
     |_Successful
     |_1m
 20180102
     |_234
     |_fail
     |_0s

像这样，每天有 100 个作业在运行。我想创建此报告。

Answer 1

如果您可以使用saveAsTextFile使用mkstring函数写入文件，这是一个简单的例子

  val d = Seq(
    ("20180101","123","Successful", "1m"),
    ("20180102","234","fail", "0s")
  ).toDF("Date","Job_Id","job_Status","Run_Time")
  d.rdd.map(x => x.mkString("n--"))
   .saveAsTextFile("outputFile")

输出：

20180101
--123
--Successful
--1m
20180102
--234
--fail
--0s

但我希望您可以保存任何其他格式，以便以后更容易阅读。

希望这有帮助！