检查点未执行操作员

Question

我们有2个来源。

1. 在对象的内存源中
2. kafka流订阅来源

他们都在某个时候连接

Source(from objects) -> Map1 -> CoMap -> Sink
Source(Kafka) -> Map2 -> Map3 -> CoMap -> ...

Map1操作员被迫是非平行

由于某种原因，有时我们会收到这种日志消息：

INFO  Checkpoint triggering task Source: Source(from objects) -> Map1 (1/1) is not being executed at the moment. Aborting checkpoint.

我们并不真正在乎Source(from objects) -> Map1链的检查点。我们可以在那里禁用检查点还是以某种方式禁用它们的恢复？

Answer 1

问题是由于某些操作员完成而没有运行。当操作员不运行时，不会发生任何检查点。

解决方案是实现自定义源函数并在发送所有元素后永远阻止线程