如何在将 csv 文件加载到配置单元表时跳过页脚/预告片记录

Question

该文件是带有逗号分隔的CSV。

存在用于引入 CSV 文件的框架。 同一文件中的标头被跳过：

Df.Option(“header”, “true”)

但是预告片记录在同一个火花包中，我无法跳过同样的逻辑。

请帮助进行此数据引入。

Answer 1

请检查此回复：

激发如何删除 CSV 文件中的最后一行

来自同一回复的副本：

val total = df.count();
val withoutFooter = df.zipWithIndex()
.filter(x => x._2 < total - 3)
.map (x => x._1)