无法将 Spark RDD 转换为架构 RDD

Question

我正在尝试执行Spark编程指南中提供的示例。https://spark.apache.org/docs/1.1.0/sql-programming-guide.html

但是我面临着编译错误。（我是Scala新手）

下面是我的代码：

import org.apache.spark.{SparkContext,SparkConf}
import org.apache.spark.sql._
import org.apache.spark.sql
object Temp {
    def main(args: Array[String]) {
        val sparkConf = new SparkConf().setMaster("local").setAppName("SPARK SQL example")
        val sc= new SparkContext(sparkConf)
        val sqlContext = new org.apache.spark.sql.SQLContext(sc)
        import sqlContext.createSchemaRDD
        case class Person(name: String, age: Int)
        val people = sc.textFile("examples/src/main/resources/people.txt").map(_.split(",")).map(p => Person(p(0), p(1).trim.toInt))
        people.registerTempTable("people")
        val teenagers = sqlContext.sql("SELECT name FROM people WHERE age >= 13 AND age <= 19")
        teenagers.map(t => "Name: " + t(0)).collect().foreach(println)
    }
}

我面临编译错误No TypeTag available for Person在行people.registerTempTable("people").

如何解决此错误？

Answer 1

它失败了，因为 Person 类是在函数内部定义的，因此 Scala 编译器不会为该类创建 TypeTag。 正如保罗建议的那样，你可以把它从函数中移到顶层。

我要补充一点，有一个 JIRA 可以放宽此限制：https://issues.apache.org/jira/browse/SPARK-4842