当Kafka broker不可用时,如何管理Flink应用程序



我有一个在生产中运行的Flink应用程序,它将数据写入外部供应商拥有的Kafka主题。

供应商通知我们,他们将迁移集群,因此将出现Kafka代理不可用的停机时间。

我的问题是,当主题无法写入数据时,Flink应用程序数据会发生什么?我可以允许我的Flink应用程序继续运行吗?还是应该停止它,等待代理程序启动并运行?

如果无法连接到Kafka Sink,任务将失败。失败后它会做什么取决于你的Task Failure Recovery策略。

如果您不想关注Kafka何时再次可用,那么具有无限重试和长延迟的fixed-delayexponential-delay策略可能是您的最佳选择,以避免因不必要的重新启动而使基础架构过载过多。

相关内容

  • 没有找到相关文章

最新更新