我有一个在生产中运行的Flink应用程序,它将数据写入外部供应商拥有的Kafka主题。
供应商通知我们,他们将迁移集群,因此将出现Kafka代理不可用的停机时间。
我的问题是,当主题无法写入数据时,Flink应用程序数据会发生什么?我可以允许我的Flink应用程序继续运行吗?还是应该停止它,等待代理程序启动并运行?
如果无法连接到Kafka Sink,任务将失败。失败后它会做什么取决于你的Task Failure Recovery
策略。
如果您不想关注Kafka何时再次可用,那么具有无限重试和长延迟的fixed-delay
或exponential-delay
策略可能是您的最佳选择,以避免因不必要的重新启动而使基础架构过载过多。