在Spark scala中读取Simple JSON文件时，将所有记录设为NULL

Question

我是Scala的新手，正在用Scala学习Spark。问题->我有一个简单的JSON文件，有20个字段和100条记录。我创建了一个代码，读取JSON文件并将其保存为csv。因此，每次我读取JSON文件时，我都会在数据帧中得到null值。

代码->

sql_c = SQLContext(SparkContext.getOrCreate())
df = sql_c.read.format("json").load("data.json")
df.show()

我得到的所有记录都为空。请帮我一下，并提前表示感谢。

Answer 1

尝试使用spark会话。

val spark = SparkSession
.builder()
.appName("Spark SQL basic example")
.config("spark.some.config.option", "some-value")
.getOrCreate()
val df = spark.read.json("data.json")
df.show()