Spark 错误： Spark.read.format( "org.apache.spark.csv" )

Question

我从spark-shell

发出命令后会遇到以下错误

scala> val df1 = spark.read.format("org.apache.spark.csv").option("inferSchema", true).option("header",true).option("delimiter", ",").csv("/user/mailtosudiptabiswa
s7917/src_files/movies_data_srcfile_sess06_01.csv")
<console>:21: error: not found: value spark
       val df1 = spark.read.format("org.apache.spark.csv").option("inferSchema", true).option("header",true).option("delimiter", ",").csv("/user/mailtosudiptabiswas7917/src_files/movies_data_srcfile_sess06_01.csv")

我需要 import explicitly。

请帮助完整的命令集

谢谢。

Answer 1

似乎您正在使用旧版本的spark，您需要使用spark2.x或更高的

import spark.implicits._

，然后

val df1 = spark.read.format("csv").option("inferSchema", true).option("header",true).option("delimiter", ",").csv("path") 

Answer 2

您甚至没有获得SparkSession。您似乎正在使用旧版本的Spark，并且应该使用SQlContext，并且在启动Spark Shell ...

时，还需要包括外部数据csv库。

$SPARK_HOME/bin/spark-shell --packages com.databricks:spark-csv_2.11:1.5.0

然后从火花壳内部...

import org.apache.spark.sql.SQLContext
val sqlContext = new SQLContext(sc)
val df = sqlContext.read
    .format("com.databricks.spark.csv")
    .option("header", "true") // Use first line of all files as header
    .option("inferSchema", "true") // Automatically infer data types
    .load("cars.csv")

您可以在此处查看有关它的更多信息