Spark Reading Json

Question

我试着在http://spark.apache.org/docs/latest/sql-programming-guide.html#sql

我在shell上尝试了这个命令：

val df = sqlContext.read.json("examples/src/main/resources/people.json")

它给出一个错误："作业中未指定输入路径"

为什么会出现这种问题？我该怎么处理？

谢谢。

Answer 1

该错误意味着您没有在正确的文件夹中启动spark shell，因为路径是相对路径。要解决这个问题，您需要将工作目录更改为spark主目录，或者将路径更改为绝对路径。

假设你的spark安装在一个名为/Applications/spark-1.6.1的mac文件夹中，那么你可以先导航到shell中的那个文件夹，然后运行spark-shell，或者运行：

scala> val df = sqlContext.read.json("/Applications/spark-1.6.1/examples/src/main/resources/people.json")
scala> df.show()
+----+-------+
| age|   name|
+----+-------+
|null|Michael|
|  30|   Andy|
|  19| Justin|
+----+-------+