Flink运算符中重试的规范方式



我有几个Flink作业,它们从一系列Kafka主题接收数据,进行一些聚合,并将结果发布到Kafka主题中。

聚合部分在某种程度上变得困难。我必须从几个HTTP端点检索一些信息,并以特定的格式将响应组合在一起。问题是有些出站HTTP调用有时会超时,所以我需要一种方法来重试它们。

我想知道是否有一种规范的方法可以在Flink运算符中完成这样的任务,而不需要完全手动执行。如果没有,建议采取什么方法?

再过一个多月,您就可以在AsyncIO:中使用Flink 1.16并提供重试支持

  • https://nightlies.apache.org/flink/flink-docs-master/docs/dev/datastream/operators/asyncio/#retry-支持

这可能是你最好的选择。同时,使用AsyncIO,但将其配置为支持长超时并在asyncInvoke中自己处理重试可能是一种选择。

相关内容

  • 没有找到相关文章

最新更新