我正在尝试启用Flink提供的熵功能,但最后_entropy_
没有被解析(我的意思是没有生成"密钥"(
我有以下配置:
s3.access-key my-key
s3.secret-key ******
s3.entropy.key _entropy_
s3.entropy.length 8
state.backend filesystem
state.backend.incremental true
state.backend.local-recovery true
state.checkpoints.dir s3p://<my-bucket>/_entropy_/flink/checkpoints/stage
state.checkpoints.num-retained 2
state.savepoints.dir s3p://<my-bucket>/flink/savepoints/stage
当我打开我的bucket时,我看到的是文件夹_entropy_
,而不是一个随机的8个字符的文件夹。
对于代码中的声明:
env.enableCheckpointing(10000L, CheckpointingMode.EXACTLY_ONCE)
.getCheckpointConfig()
.enableExternalizedCheckpoints(ExternalizedCheckpointCleanup.DELETE_ON_CANCELLATION);
env.getCheckpointConfig().setMinPauseBetweenCheckpoints(3000L);
PS:我正在使用Flink 1.11.2
Flink 1.11.2中的一个回归打破了这一特性;1.11.4中对此进行了修正。详见FLINK-22081。