火花如何删除CSV文件中的最后一行

Question

我是新手的火花，我想从CSV文件中删除标头和最后一行

      Notes  xyz
     "id","member_id"
     "60045257","63989975",
     "60981766","65023535",
     Total amount:4444228900
     Total amount: 133826689

我想删除行注意XYZ ，总金额：44444228900 和总金额：1338266689 从文件中删除了第一个。文件中的线

val dfRetail = sc.textFile("file:////home/cloudera/Projects/Project3/test/test_3.csv");
var header=dfRetail.first();
var final_data=dfRetail.filter(row => row!=header);

如何删除最后一行？

Answer 1

使用zipwithIndex，然后通过索引过滤：

val total = dfRetail.count();
val withoutFooter = dfRetail.zipWithIndex()
                            .filter(x => x._2 < total - 3)
                            .map (x => x._1)

它将每行映射到配对（行，索引）。然后，您过滤此RDD，仅选择索引低于对象总数-3-因此，没有页脚。当您仅将其映射到元组的第一个元素时，因此对于文档行

您也可以使用MappartitionswithIndex：

val withoutFooter = dfRetail.mapPartitionsWithIndex { (idx, iter) => 
     val size = iter.size();
     if (idx == noOfTotalPartitions) {
         iter.take(size - 3)
     }
     else iter 
});

它以相同的方式工作，但可能更快