在Apache Spark CSV中，我们为字段提供了定界符，但如何为行提供定界符

Question

我们有不同类型的CSV文件，其中一些是行定界线的新行字符，其中一些是其他自定义分离器，例如|，！因此，如何在Spark CSV数据阅读中提供行定界线。

Answer 1

在Spark 2.0中您可以作为选项传递定界符。示例：

var options = new HashMap[String, String]()
options += ("header" -> "true")
options += ("delimiter" -> "t")
options += ("maxCharsPerColumn" -> "200")

您可以传递选项并读取CSV：spark.read.format（" csv"）。选项（options）.load（" fileLecotion"）