在运行时间异常的情况下,我如何从Apache Flink中的功能中手动重播元组



在风暴中,我们执行collector.fail(元组)来重播元组。Flink中的类似方法是什么?

flink只要启用了检查点即可自动照顾这一点。此处描述了基本机制,但简而言之,flink缩小了整个群集状态的快照,并在发生故障时恢复它。这包括重新汇总来源并根据需要重播事件,以实现准确的一致处理语义。

更新:

有时有必要通过某些或全部作业图循环循环事件。Flink的数据集API在迭代中支持这一点,但不幸的是,迭代和流媒体存在问题。最好的解决方案是将事件写入水槽,并从源头重新启动它们。

最新更新