Scala错误:value registerTempTable不是org.apache.spark.sql.Schema

Question

我想读取Parquet文件。我在spark-shell中编写以下代码:

val logFile = "hdfs://byd0085/"
val sqlContext=new org.apache.spark.sql.SQLContext(sc)
val parquetFile = sqlContext.parquetFile(logFile)
parquetFile.registerTempTable("parquetFile")

通过调用parquetFile.registerTempTable("parquetFile")，有一个错误error: value registerTempTable is not a member of org.apache.spark.sql.SchemaRDD 。但是parquetFile确实是一个SchemaRDD，而registerTempTable确实是org.apache.spark.sql.SchemaRDD的一个函数。我是Scala和Spark的新手，我不知道为什么。有人能帮忙吗?

Spark版本1.0.0Scala Version 2.10.4

Answer 1

在Spark 1.0中，它被称为registerAsTable

Answer 2

people.toDF()将RDD转换为数据帧。

 val s= people.toDF()
 s.registerTempTable("people")

或

people.toDF().registerTempTable("people")

Answer 3

错误:value registerAsTable不是org.apache.spark.rdd.RDD的成员[People]people.registerTempTable("人")

Answer 4

方法

registerTempTable

Dataset类中的

已弃用:使用

createOrReplaceTempView

(viewName)。