Apache Flink限制正在处理的数据



我正在寻找一个选项,可以限制当前正在处理的数据量。

用例:我正在从Kafka数据流中读取数据并处理这些数据,我想限制飞行中的消息数量。这样做的原因是第三方应用程序的吞吐量。一般来说,这不是一个问题,但在背压的情况下,会因为这些故障而频繁出现故障和应用程序重新启动。

一些可用的工具有:

  1. 限制并行度
  2. 使用Flink的异步i/o操作符来处理与第三方API的连接,并相应地设置其容量(飞行中请求的数量(。这将最终对来源产生反压力
  3. 对源应用速率限制。看见https://stackoverflow.com/a/65232295/2000823和https://stackoverflow.com/a/59027848/2000823了解有关该主题的更多信息

相关内容

  • 没有找到相关文章

最新更新