在scala中将Spark Dataframe转换为RDD

Question

我正在寻找将Dataframe转换为RDD的更好方法。现在我正在将数据帧转换为集合，并循环集合来准备RDD。但我们知道循环不是一种好的做法。

   val randomProduct = scala.collection.mutable.MutableList[Product]()
   val results = hiveContext.sql("select id,value from  details");
   val collection = results.collect();    
   var i = 0;
   results.collect.foreach(t => {
       val product = new Product(collection(i)(0).asInstanceOf[Long], collection(i)(1).asInstanceOf[String]); 
       i = i+ 1;
       randomProduct += product 
   })
   randomProduct
   //returns RDD[Product]

请建议我把它标准化；适用于大量数据的稳定格式。

Answer 1

val results = hiveContext.sql("select id,value from  details");
results.rdd.map( row => new Product( row.getLong(0), row.getString(1) ) ) // RDD[Product]