在spark中修改json字符串的datatype为Datetime

Question

我正在给spark提供json文件。其中的一个值是Datetime类型，但它正在被转换为字符串类型。我在这里得到了一个解决方案，说要在改变interschema后重建spark。Scala文件，但我不想这么做。是否有任何方法，我可以转换它，同时读取json文件。我也可以转换它使用spark sql后"jsonFiles. registertemptable ('jsonFiles')"。在这方面的任何帮助都将非常感谢。

Answer 1

使用jsonFile函数，您还可以在读取时指定模式，如下:

sqlContext.jsonFile(path, schema)或在新API (post 1.4) sqlContext.read.schema(schema).format("json").load(path)