Apache Spark 2.3.1 - Twitter 不是 package org.apache.spark.str



首先,我一直在寻找这个问题一段时间了,我可以看到还有其他解决方案,但是Apache Spark版本2.3.1没有任何解决方案。

简而言之,我正在尝试创建一个应用程序,该应用程序使用 bahir 在 Spark 中执行分析推特消息。

但是,我使用的是Apache Spark版本2.3.1,所以我找到了2.3.0-SNAPSHOT。

但是当我尝试使用此bin/spark-shell --packages org.apache.bahir:spark-streaming-twitter_2.11:2.3.0-SNAPSHOT时,从我当地的火花壳中找不到它:

:: USE VERBOSE OR DEBUG MESSAGE LEVEL FOR MORE DETAILS Exception in thread "main" java.lang.RuntimeException: [unresolved dependency: org.apache.bahir#spark-streaming-twitter_2.11;2.3.0-SNAPSHOT: not found]

我可能是一个愚蠢的假设,但我想也许 2.3.0 适用于 2.3.1。

我可以获取 2.2.1 版本,并且 twitter4j 似乎可以工作,但是我仍然在使用 Spark 2.3.1 的实际streaming.twitter_上遇到问题。来自我当地的火花壳:

scala> import org.apache.spark.streaming.twitter._ <console>:23: error: object twitter is not a member of package org.apache.spark.streaming import org.apache.spark.streaming.twitter._
^

很高兴知道是否有人知道它是否可以与Apache Spark 2.3.1一起使用?

还是我只是被迫降级我的 Spark 版本以使其工作?

我在一个名为齐柏林飞艇的笔记本中执行此操作,但我也尝试在齐柏林飞艇之外执行此操作,因此似乎与我正在使用的笔记本没有任何关系。

感谢您的任何见解。

我遇到了同样的问题。我无法降低火花,因为我需要 2.3 和另一个氦气。所以我要尝试巴希尔的依赖

<dependency>
<groupId>org.apache.bahir</groupId>
<artifactId>spark-streaming-twitter_2.11</artifactId>
<version>2.3.0</version>
</dependency>

我会让你知道,如果它有效...

编辑: 它确实奏效了。

%spark2.dep
z.reset()
z.addRepo("MavenCentral").url("https://mvnrepository.com/")
z.load("org.apache.bahir:spark-streaming-twitter_2.11:2.3.0")

它解决了不存在的新Twitter库的问题,也解决了"新火花"中"旧火花"中缺少类的问题。

我能够使用 javascript 传单图和 Spark 2.3 火花流:)运行求和示例

相关内容

  • 没有找到相关文章

最新更新