如何使用Scara使用Spark Streaming读取Twitter推文。我找不到Twitter的任何火花连接器。
我使用spark-streaming-twitter
Twitter连接器来读取推文。要在DSX上安装它,我使用了pixiedust
。
spark-streaming-twitter
import pixiedust
pixiedust.installPackage("org.apache.bahir:spark-streaming-twitter_2.11:2.0.1")
import org.apache.spark.streaming.twitter._
TwitterUtils.createStream(ssc, None)