Spark 版本 2.1.0(2016 年 12 月 28 日)无法推断 csv 文件的Shema

Question

我试图使用最新版本的 Spark（2.1.0（2016 年 12 月 28 日））在 Scala 中为 Windows 读取 csv 文件。我确实注意到，在读取 csv 文件并推断架构时，文件的解析将失败。推理架构选项将失败，并且一些应该为双精度的字段被列为字符串。我可以强制列是特定类型的数据，但仍然解析行会留下空值。我相信发生这种情况是因为字符串列中有逗号。

Answer 1

我将构建的火花更改为 2.0.1（2016 年 10 月 3 日），推断模式工作正常。因此，Windows（2.1.0（2016年12月28日）的新Spark构建版本中可能存在错误。