Flink S3 Hadoop 2.8.0



我们试图将 S3 用于 Flink 后端状态和检查点,并在法兰克福使用了一个存储桶(V4 身份验证(它给出了我在这里发布的错误(无法使用 Hadoop 访问 S3 存储桶(,这是由于 hadoop。然而,Hadoop2.8.0可以工作,但还没有Flink支持。

猜我的问题是 Flink 什么时候会提供基于 hadoop 2.8.0 的版本?

一旦

Hadoop版本发布,Flink可能会提供Hadoop 2.8.0版本。

同时,你可以用自定义的Hadoop版本自己构建Flink:

mvn clean install -DskipTests -Dhadoop.version=2.8.0

Hadoop 2.7.x确实适用于法兰克福和v4 API端点。如果您遇到问题,请检查您的 joda-time 版本,因为旧的 joda-time JAR 和 Java 版本的奇怪组合会导致 AWS 获取格式错误的时间戳,然后在无处不在的"错误身份验证"消息中拒绝该时间戳。

相关内容

  • 没有找到相关文章

最新更新