在 Flink 中使用键处理和聚合多个 json。

  • 本文关键字:json 处理 Flink apache-flink
  • 更新时间 :
  • 英文 :


我有一个连续的 json 流通过 kafka,我正在尝试使用带有键的 apache flink 加入相同的 json。 其中 5 个具有相同的键,因此我想使用全局窗口并提供触发器为 5。但问题是,如果只有四个json到达,而第五个从未来过怎么办。我该如何处理这种情况?

执行联接时,始终需要为联接发生的位置提供一些"窗口"定义 - 请参阅窗口联接文档。对于纯基于时间的连接,通常使用翻转窗口或滑动窗口。这假设(来自 Kafka 的数据的典型情况)您已为每条记录分配了时间戳,然后可以使用这些时间戳来确定哪些事件位于同一时间窗口中。

相关内容

  • 没有找到相关文章

最新更新