卡夫卡过滤/动态主题创建



我正在研究卡夫卡,火花流并试图实现和解。

生产者消息:大约 5 个字段由","分隔,其中一个是 UUID(唯一标识符( 例如:A,B,制片人,UUID_1,E

消费者信息:大约 5 个字段由","分隔,其中一个是 UUID 例如:A,B,消费者,UUID_1,E

这里UUID是生产者和消费者之间的关系,它是动态的

在 kafka 中,我需要某种过滤,通过该过滤,所有特定的生产者/消费者消息都将位于一个特定的主题或分区中。

我确实有一个想法如下,但无法实现它:

根据我的研究,不允许动态分区,这是正确的吗?

所以我看到的唯一选择是,根据收到的 UUID 创建一个动态主题,然后将每个 UUID 特定消息路由到该主题,一旦消息被使用,就需要删除该主题。这是正确的方法吗,如果是,如何实现这一目标?

根据我的研究,不允许动态分区,这是正确的吗?

分区可以增加,但不能减少。

根据收到的UUID创建动态主题

不要那样做,它违反了 Topic 语义,Topic 表示同类消息。
只需将"UUID_1"设置为消息"键"字段,因为 Kafka 将相同的"键"消息发送到同一个"分区",以符合"键"的哈希。

最新更新