降低GCP数据流



使用标准GCP提供的存储/文本文件到PubSub DataFlow模板,但尽管我设置了#workernodes eq 1,但下游组件处理的消息吞吐量"过高"。

在Pub/Sub中的消息事件上运行的CloudFunction达到了GCP配额,使用CloudRun,我在一开始就得到了500、429和503个错误(由于步长突发率(。

有什么方法可以控制DataFlow的处理速率吗?需要获得更软/更慢的启动,以便下游组件有时间扩大规模。

有人吗?

您可以使用Stateful ParDo来实现这一点,其中您可以批量缓冲事件,并一次使用所有键进行API调用。在这里用代码片段很好地解释了这一点

相关内容

  • 没有找到相关文章

最新更新