Flink本地恢复状态文件清除



我们正在测试Flink的局部回收选项,以实现我们大型键控状态的快速恢复。我们取消了当前的运行作业,然后从上一个检查点重新启动它,我们发现先前的状态保留在文件系统中。我们想询问即使我们已经恢复了状态文件,即使状态文件也不会删除。我们不希望我们本地任务的磁盘使用无限。

状态文件将不会被删除,因为有一个新的jobid分配给了恢复的作业,因此Flink将创建一个新目录来存储检查点文件。这对我来说完全有意义。

假设,如果Flink恢复后删除状态文件,那么如果程序再次失败,该怎么办?

最新更新