我正在尝试将Twitter数据流到火花流中。我已经使用以下命令导出了其他罐子 -
spark-shell --jars twitter4j-core-4.0.1.jar,spark-streaming-twitter_2.11-1.6.2.jar
但是在ssc.start()时，会出现以下错误 -
scala> ssc.start()
线程"流启动" java.lang.noclassdeffounderror中的例外： Twitter4j/spartlistener atorg.apache.spark.streaming.twitter.twitterinputdstream.getReceiver(twitterinputdstream.scala：55(
在 org.apache.spark.streaming.scheduler.receivertracker $$ anonfun $ 8.Apply(receiverTracker.scala：415(
在 org.apache.spark.streaming.scheduler.receivertracker $$ anonfun $ 8.Apply(receiverTracker.scala：414(
在 scala.collection.traversablelike $$ anonfun $ map $ 1.apply(traversablelike.scala：244(
在 scala.collection.traversablelike $$ anonfun $ map $ 1.apply(traversablelike.scala：244(
在 scala.collection.indexedSeedseqoptimized $ class.foreach(indexedSeqoptimized.scala：33(
在scala.collection.mutable.ararayops $ ofref.foreach(arrayops.scala：108(
在 scala.collection.traversablelike $ class.map(traversablelike.scala：244(
在scala.collection.mutable.ararayops $ ofref.map(arrayops.scala：108(
在 org.apache.spark.streaming.scheduler.receivertracker.launchreceivers(RecoriverTracker.scala：414(
在 org.apache.spark.streaming.scheduler.receivertracker.start(receiverTracker.scala：157(
在 org.apache.spark.streaming.scheduler.jobscheduler.start(jobscheduler.scala：82(
在 org.apache.spark.streaming.streamingcontext $$ anonfun $ liftedtree1 $ 1 $ 1 $ 1.Apply $ mcv $ sp(streamingcontext.scala：610(
在 org.apache.spark.streaming.streamingcontext $$ anonfun $ liftedtree1 $ 1 $ 1.Apply(streamingContext.Scala：606(
在 org.apache.spark.streaming.streamingcontext $$ anonfun $ liftedtree1 $ 1 $ 1.Apply(streamingContext.Scala：606(
在 org.apache.spark.util.threadutils $$ anon $ 1.run(threadutils.scala：122(
引起的：
at Java.net.urlclassloader.findclass(urlclassloader.java:381(
at Java.lang.classloader.loadclass(classloader.java:424(
at Java.lang.classloader.loadclass(classLoader.java:357(
... 16多
18/03/29 16:20:55信息流context：StreamingContext启动
我在以下链接中给出的代码 -
https://acadgild.com/blog/streaming-twitter-data-using-spark/
谢谢..
看来有一个丢失的依赖性，您需要添加
请尝试将此罐子添加为依赖性，它具有您需要的类
Twitter4J.StreamListener
https://mvnrepository.com/artifact/org.twitter4j/twitter4j-stream/4.0.7
您需要找到为您的Spark版本和Scala/Java/Python版本构建的JAR版本