无法在 Spark 中将 CSV 文件作为数据帧加载

Question

我正在尝试在数据框中加载CSV文件，我的目标是将第一行显示为CSV文件的列名。 但是在使用以下代码时，我收到错误

Exception in thread "main" java.lang.AbstractMethodError
    at scala.collection.TraversableLike$class.filterNot(TraversableLike.scala:278)

法典：

def main(args : Array[String]): Unit = {
 val spark : SparkSession = SparkSession
      .builder()
      .master("local")
      .appName("SparkSessioncsvExample")
      .config("spark.some.config.option", "some-value")
      .getOrCreate()
   val df = spark.read
      .format("csv")
      .option("header", "true") //reading the headers
      .load("D:/Scala/C2ImportCalEventSample.csv")}

但是我能够使用代码加载文件：

val df = spark.sparkContext
        .textFile("D:/Scala/C2ImportCalEventSample1.csv")
        //.flatMap(header='true')
        .map(line => line.split(","))
        // .map(line => line.map()
        .toDF()

但是在第二个代码文件中，文件已成功加载，但第一行没有获得数据框的column_name。

spark version is: spark-2.3.2  
scala 2.11.3  
jdk1.8.0_20
sbt-1.2.7

感谢任何可以帮助我的人。

Answer 1

java.lang.AbstractMethodError 几乎总是意味着类路径上的库与编译时不同。 在这种情况下，我会检查以确保您在类路径上具有正确版本的 Scala（并且只有一个版本的 scala）。