尝试使用S3启用Flink熵,但未生成熵密钥



我正在尝试启用Flink提供的熵功能,但最后_entropy_没有被解析(我的意思是没有生成"密钥"(

我有以下配置:

s3.access-key   my-key
s3.secret-key   ******
s3.entropy.key  _entropy_
s3.entropy.length   8
state.backend   filesystem
state.backend.incremental   true
state.backend.local-recovery    true
state.checkpoints.dir   s3p://<my-bucket>/_entropy_/flink/checkpoints/stage
state.checkpoints.num-retained  2
state.savepoints.dir    s3p://<my-bucket>/flink/savepoints/stage

当我打开我的bucket时,我看到的是文件夹_entropy_,而不是一个随机的8个字符的文件夹。

对于代码中的声明:

env.enableCheckpointing(10000L, CheckpointingMode.EXACTLY_ONCE)
.getCheckpointConfig()     
.enableExternalizedCheckpoints(ExternalizedCheckpointCleanup.DELETE_ON_CANCELLATION);
env.getCheckpointConfig().setMinPauseBetweenCheckpoints(3000L);

PS:我正在使用Flink 1.11.2

Flink 1.11.2中的一个回归打破了这一特性;1.11.4中对此进行了修正。详见FLINK-22081。

相关内容

  • 没有找到相关文章

最新更新