在 Azure HDInsights 群集上设置 flink 时出现异常。
./bin/yarn-session.sh -n 4 -jm 1024m -tm 4096m
抛出:
org.apache.flink.client.deployment.ClusterDeploymentException:
Couldn't deploy Yarn session cluster
Caused by:
Failing this attempt.Diagnostics:
[2018-10-24 00:41:17.703]Resource wasb://../.flink/application_1539730571763_0057/
application_1539730571763_0057-flink-conf.yaml8158650202504017094.tmp
changed on src filesystem (expected 1540341676000, was 1540341677000
java.io.IOException:
at org.apache.hadoop.yarn.util.FSDownload.verifyAndCopy(FSDownload.java:273)
这似乎是因为wasb blob存储没有保留复制文件的原始时间戳,从而在wasb之上破坏了HDFS API抽象。 有什么解决方法吗?
我能找到的唯一另一个线程是 Oozie/yarn:src 文件系统上的资源已更改。
我们与 MS Azure 支持部门合作,他们确认它仅适用于 Flink 1.4.x,而不适用于 1.5.x 或 1.6.x。
我们将其降级到 1.4.x,它现在可以在 Azure 群集中正常工作。