火花读取 json 中的重复列

Question

我在具有平面结构的 json 文件上运行了spark.read.json(json_file_path)。

我收到错误消息：

Reference 'col' is ambiguous, could be: col#29582L, col#29632

这可能是

由于另一列的名称不同：Col 。如果我无法修改 json 数据，如何解决此问题？

Answer 1

在参考问题的 R 案例并搜索配置之后。

我发现

spark.conf.set("spark.sql.caseSensitive", "true")

从 https://databricks.com/blog/2016/08/15/how-to-use-sparksession-in-apache-spark-2-0.html