我正在尝试使用 EMR 和 Flink 将一些输出写入 S3。我正在使用 Scala 2.11.7、Flink 1.3.2 和 EMR 5.11。但是，我收到以下错误：
java.lang.NoSuchMethodError: org.apache.hadoop.conf.Configuration.addResource(Lorg/apache/hadoop/conf/Configuration;)V
at com.amazon.ws.emr.hadoop.fs.EmrFileSystem.initialize(EmrFileSystem.java:93)
at org.apache.flink.runtime.fs.hdfs.HadoopFileSystem.initialize(HadoopFileSystem.java:345)
at org.apache.flink.core.fs.FileSystem.getUnguardedFileSystem(FileSystem.java:350)
at org.apache.flink.core.fs.FileSystem.get(FileSystem.java:389)
at org.apache.flink.core.fs.Path.getFileSystem(Path.java:293)
at org.apache.flink.api.common.io.FileOutputFormat.open(FileOutputFormat.java:222)
at org.apache.flink.api.java.io.TextOutputFormat.open(TextOutputFormat.java:78)
at org.apache.flink.streaming.api.functions.sink.OutputFormatSinkFunction.open(OutputFormatSinkFunction.java:61)
at org.apache.flink.api.common.functions.util.FunctionUtils.openFunction(FunctionUtils.java:36)
at org.apache.flink.streaming.api.operators.AbstractUdfStreamOperator.open(AbstractUdfStreamOperator.java:111)
at org.apache.flink.streaming.runtime.tasks.StreamTask.openAllOperators(StreamTask.java:376)
at org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:253)
at org.apache.flink.runtime.taskmanager.Task.run(Task.java:702)
at java.lang.Thread.run(Thread.java:748)
我的build.sbt如下所示：
libraryDependencies ++= Seq(
"org.apache.flink" % "flink-core" % "1.3.2",
"org.apache.flink" % "flink-scala_2.11" % "1.3.2",
"org.apache.flink" % "flink-streaming-scala_2.11" % "1.3.2",
"org.apache.flink" % "flink-shaded-hadoop2" % "1.3.2",
"org.apache.flink" % "flink-clients_2.11" % "1.3.2",
"org.apache.flink" %% "flink-avro" % "1.3.2",
"org.apache.flink" %% "flink-connector-filesystem" % "1.3.2"
)
我也找到了这篇文章，但它没有解决问题：EMR 上 S3 的外部检查点
我只是将输出到 S3：input.writeAsText("s3://test/flink") .任何建议将不胜感激。
不确定 flink-shaded-hadoop和 EMR 版本的良好组合。经过几轮尝试和失败，我能够使用新版本的flink-shaded-hadoop2写入 S3 - "org.apache.flink" % "flink-shaded-hadoop2" % "1.4.0"
您的问题可能是由于某些库是由 EMR/Yarn/Flink 在您自己的类之前加载的，这导致了 NoSuchMethodError：加载的类不是您提供的类，而是 EMR 提供的类。注意 JobManager/TaskManager 日志中的类路径。一种解决方案是将您自己的 jar 放在 Flink lib 目录中，以便它们在 EMR 之前加载。