当目标流由于UpdateShardCount而处于更新状态时，Flink Kinesis Producer的行为

Question

引用https://ci.apache.org/projects/flink/flink-docs-stable/dev/connectors/kinesis.html#kinesis-生产者

如果发生故障或重新发送，数据将再次写入Kinesis，导致重复。这种行为通常称为"至少一次"语义。

1. 当目标驱动器流由于重新发送而处于更新状态时，如何确定将重播多少条消息？

2. 在这种情况下，如何限制正在重播的消息的数量？

Answer 1

在失败的情况下，会从最后一个成功的检查点重播数据。我想这与重新发布类似。

为了保持较低的重复数，您希望有频繁的检查点(可以低至100毫秒(。如果您使用大(自定义(状态(如Flink UI中的检查点大小所示(，则应该使用增量检查点。