来自 Flink 流的手动检查点

Question

是否可以从 Flink 流作业触发检查点？

我的用例是：我有两个流 R 和 S 与翻转的时间窗口连接。来源是卡夫卡。我使用事件时间处理和 BoundedOutOfOrdernessGenerator 来确保来自两个流的事件最终位于同一窗口中。

问题是我的州很大，定期定期检查点有时需要太多时间。起初，我想禁用检查点并依赖 Kafka 偏移量。但是无序意味着我已经在当前偏移量的未来窗口中有一些数据。所以我需要检查点。

如果可以在清洁窗口而不是定期清洁后触发检查点，则会更有效率。也许在驱逐后方法。

这有意义吗，可能吗？如果没有，我将不胜感激。

Answer 1

似乎这里的问题是检查点效率。 请考虑将 RocksDB 状态后端与增量检查点一起使用，如调试和优化检查点和大型状态下的文档中讨论。