Spark Scala API:在官方示例中，spark.createDataFrame中没有可用的typeTag

Question

我刚刚开始使用 Spark 的 MLib 并尝试运行提供的示例，更具体地说是 https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/ml/DCTExample.scala

但是，使用 IntelliJ IDE 进行编译失败，并显示以下消息

Error:(41, 35) No TypeTag available for (org.apache.spark.ml.linalg.Vector,)
    val df = spark.createDataFrame(data.map(Tuple1.apply)).toDF("features")

项目安装程序使用 jdk1.8.0_121、spark2.11-2.1.0 和 scala 2.10.6。

关于为什么示例无法运行的任何想法？我在安装过程中遵循了以下教程：https://www.supergloo.com/fieldnotes/intellij-scala-spark/

Answer 1

你不能在

Scala 2.11 中使用 Spark(这就是名称中_2.11的意思(，尽管这个特定的错误看起来很奇怪。切换到 Scala 2.11.8。