Flink 如何发现每个键的所有 kafka 分区

Question

>我在数据流中使用"keyby"。 我希望 Flink 发现每个键的所有 Kafka 分区。 我有30个分区和12个任务。 我按用户 ID "键控"我的数据。我认为每个任务的flink只是发现特定的 Kafka Partition&I无法在一个任务中检测每个用户的所有数据。

Answer 1

Flink 通常不会在通过 keyBy 进行流处理期间完成的分区与 Kafka 中流存储层中存在的分区之间建立任何关联。如果在来自 Kafka 使用者的流上使用 keyBy，则每个用户的所有事件都将一起处理，无论它们来自哪个 kafka 分区。

我不明白你想做什么，但你可以在文档中阅读 Flink 如何处理 Kafka 主题和分区发现。