Flink 和 Play 2.5 之间的 Akka 版本冲突



在我们的项目中,我们有一个 Flink (1.1.3( 流作业,它从一个 kafka 队列读取,执行映射函数转换并写入另一个队列。

这一直运行良好,直到我们引入传出 REST 请求作为流程的一部分。 为此,我们使用了PlayFramework WSClient(因为它在我们堆栈的其他地方使用(,并以这种方式在代码中创建它:

val config = new AhcWSClientConfig(wsClientConfig = WSClientConfig())
val builder = new AhcConfigBuilder(config)
val ahcConfig = builder.configure().build()
new AhcWSClient(ahcConfig)(ActorMaterializer()(ActorSystem()))

这在本地运行良好,但是当部署它并在集群上运行时,我遇到了以下异常:

java.lang.NoSuchMethodError: akka.util.Helpers$.toRootLowerCase(Ljava/lang/String;)Ljava/lang/String;
at akka.stream.StreamSubscriptionTimeoutSettings$.apply(ActorMaterializer.scala:491)
at akka.stream.ActorMaterializerSettings$.apply(ActorMaterializer.scala:243)
at akka.stream.ActorMaterializerSettings$.apply(ActorMaterializer.scala:232)
at akka.stream.ActorMaterializer$$anonfun$1.apply(ActorMaterializer.scala:41)
at akka.stream.ActorMaterializer$$anonfun$1.apply(ActorMaterializer.scala:41)
at scala.Option.getOrElse(Option.scala:121)
at akka.stream.ActorMaterializer$.apply(ActorMaterializer.scala:41)
at com.ourstuff.etl.core.utils.web.GlobalWSClient$.generateClient(WSClientFactory.scala:32)

调查一下,我假设这是Akka 2.3.x(由Flink 1.1.X带来(和Akka 2.4.x(由PlayFramework带来(之间的碰撞。

我们将 Flink 集群升级到 1.3.1(以及我们的代码对 Flink 的依赖(,假设这将解决问题。但同样的问题似乎仍然存在。

知道可能仍然导致这种情况的原因吗?

解决此依赖关系冲突的唯一方法是将冲突的类重新定位到不同的命名空间中。

最新更新