keyBy 是否在 Flink (scala) 中跨并行任务对数据流进行分区

Question

我想在 Flink 中的输入数据流上应用 ProcessFunction((，使用单个缓存对象处理每个传入元素。我的代码看起来像这样：

object myJob extends FlinkJob {
 private val myCache = InMemoryCache()
 private def updateCache(myCache,someValue) : Boolean = {//some code}
 private def getValue(myCache,someKey) : Boolean = {//some code}
 def run(params, executionEnv) : Unit = {
   val myStream = executionEnv.getStream()
   val processedStream = myStream.process(new ProcessFunction {
     def processElement(value,context,collector) : Unit = {
      //Update cache
      //Collect updated event
     }
   }
   processedStream.write()
 }
}

当我并行化此作业时，我假设作业的每个并行实例都有自己的 cacheObject，因此，单个缓存键可能存在于多个 cacheObject 中。但是，我希望特定键有一个缓存条目，即对应于特定键的所有记录必须由单个实例和单个 cacheObject 处理。在 myStream 上使用 keyBy(( 是否会确保所有具有相同键的传入事件都由 Flink 作业的单个并行任务/实例处理，从而也由单个 cacheObject 处理？

Answer 1

是的

，keyBy 保证具有相同键的每个事件都将由运算符的同一实例处理。这对于高吞吐量、低延迟的有状态流处理至关重要。

这使得 flink 的状态是本地的，这使得它易于使用且快速。计时器也利用此键控分区。

使用

Flink 的键控状态可能比使用缓存对象要好得多。

Answer 2

我认为您应该使用状态而不是对象。

具有相同键的所有事件都可以访问相同的状态，从而访问相同的值。修改其中一个状态不会影响其他键控状态。