Azure Flink 中的 src 文件系统上的资源已更改



在 Azure HDInsights 群集上设置 flink 时出现异常。

./bin/yarn-session.sh -n 4 -jm 1024m -tm 4096m

抛出:

org.apache.flink.client.deployment.ClusterDeploymentException: 
Couldn't deploy Yarn session cluster
Caused by: 
Failing this attempt.Diagnostics: 
[2018-10-24 00:41:17.703]Resource wasb://../.flink/application_1539730571763_0057/
application_1539730571763_0057-flink-conf.yaml8158650202504017094.tmp 
changed on src filesystem (expected 1540341676000, was 1540341677000
java.io.IOException: 
at org.apache.hadoop.yarn.util.FSDownload.verifyAndCopy(FSDownload.java:273)

这似乎是因为wasb blob存储没有保留复制文件的原始时间戳,从而在wasb之上破坏了HDFS API抽象。 有什么解决方法吗?

我能找到的唯一另一个线程是 Oozie/yarn:src 文件系统上的资源已更改。

我们与 MS Azure 支持部门合作,他们确认它仅适用于 Flink 1.4.x,而不适用于 1.5.x 或 1.6.x。

我们将其降级到 1.4.x,它现在可以在 Azure 群集中正常工作。

相关内容

  • 没有找到相关文章

最新更新