我有几个Flink
作业,它们从一系列Kafka
主题接收数据,进行一些聚合,并将结果发布到Kafka
主题中。
聚合部分在某种程度上变得困难。我必须从几个HTTP端点检索一些信息,并以特定的格式将响应组合在一起。问题是有些出站HTTP调用有时会超时,所以我需要一种方法来重试它们。
我想知道是否有一种规范的方法可以在Flink
运算符中完成这样的任务,而不需要完全手动执行。如果没有,建议采取什么方法?
再过一个多月,您就可以在AsyncIO:中使用Flink 1.16并提供重试支持
- https://nightlies.apache.org/flink/flink-docs-master/docs/dev/datastream/operators/asyncio/#retry-支持
这可能是你最好的选择。同时,使用AsyncIO,但将其配置为支持长超时并在asyncInvoke
中自己处理重试可能是一种选择。