我真的需要 Flink 检查点吗?



我有一个 Flink 应用程序,它从 Kafka 读取一些事件,从 MySQL 中对数据进行一些扩充,使用窗口函数缓冲数据并将窗口内的数据写入 HBase。我目前已启用检查点,但事实证明检查点非常昂贵,随着时间的推移,它需要的时间越来越长,并且会影响我作业的延迟(落后于 kafka 摄取率(。如果我找到了一种使 HBase 写入幂等的方法,是否有充分的理由让我使用检查点?我可以将内部 kafka 消费者客户端配置为每隔一段时间提交一次,对吗?

如果您唯一要检查点的是 Kafka 提供程序偏移量,那么检查点时间足以减慢您的工作流程,我会感到惊讶。还是国家也在其他地方被拯救?如果是这样,您可以跳过它(只要根据您的注释,HBase 写入是幂等的(。

请注意,您还可以调整检查点间隔,并(如果需要(将增量检查点与 RocksDB 一起使用。

最新更新