我试图将数据帧保存为CSV文件,我想保留空格。我使用的是Spark 2.1.1,但是当我尝试将其保存为CSV文件时,所有空格都被修剪了。
我尝试了这些选项,但它们没有起作用。
option("ignoreLeadingWhiteSpace",false")
.option("ignoreTrailingWhiteSpace", "false")
预期CSV格式
SiteNumber, batch ,DayBatchDate,RecordType
190000, TBD, 12/12/2017, +00000001
我当前的输出:
SiteNumber, batch ,DayBatchDate,RecordType
190000,TBD,12/12/2017,+00000001
ignoreLeadingWhiteSpace
和ignoreTrailingWhiteSpace
作者的选项已在Spark 2.2中引入Spark-18579)因此在Spark 2.1中不会效果。