>我在 Flink 作业中实现了一个流程函数,当注入大量(10mil 记录(时,流程函数似乎已锁定并导致之前和之后的操作员暂停并等待刷新、交换间隔。
过程功能性能
这似乎像是 Flink 源在等待,直到后来的操作员从忙碌中解脱出来。这是 Flink 中的背压处理吗,无论如何我们可以配置为让流在没有这种间隔等待的情况动吗?
如果process
被阻止,数据会流向哪里?背压并不是 Flink 所做的明确的事情(据我所知(。相反,这是下游运营商无法接受更多数据的自然结果。
听起来你需要做的是看看如何让你的工作更加并行。这可能就像简单地增加并行性一样简单,但如果数据是键控的,并且问题实际上是密钥在单位时间内接收的数据多于可以有效处理的数据,则可能会更复杂。在这种情况下,您可能需要实际拥有密钥,以便将数据拆分到多个分区中。
但是,在不了解您的应用程序细节的情况下,这完全只是猜测。