在Apache Flink中的节点之间共享数据集的最佳方法是什么?

Question

ii am使用Apache Flink处理数据流，我需要在处理输入数据的所有节点之间共享索引。该索引经常被节点更新。

我想知道，从效率的角度来看，这是一个好习惯，是通过广播变量共享数据集吗？

是否在每个更新后都会在所有节点中更新广播变量？

Apache Flink是否仅针对最近的更改就可以巧妙地更新广播变量？

Answer 1

我认为该解决方案在于使用基于Flink的托管状态描述符的状态函数。如果状态不可分区，请为您的操作员设置并行性。