如何从字符串列表中创建DStream

Question

我有一个字符串列表，但我找不到一种方法将列表更改为火花流的DStream。我试过了:

val tmpList = List("hi", "hello")    
val rdd = sqlContext.sparkContext.parallelize(Seq(tmpList))   
val rowRdd = rdd.map(v => Row(v: _*))

但是eclipse说sparkContext不是sqlContext的成员，所以，我怎么能做到这一点?谢谢你的帮助。

Answer 1

DStream是RDD的序列，它是在您注册接收到一些流媒体源(如Kafka)时创建的。对于测试，如果你想从RDD列表中创建DStream，你可以这样做:

val rdd1 = sqlContext.sparkContext.parallelize(Seq(tmpList))
val rdd2 = sqlContext.sparkContext.parallelize(Seq(tmpList1))
ssc.queueStream[String](mutable.Queue(rdd1,rdd2))

希望它能回答你的问题