我正在研究卡夫卡,火花流并试图实现和解。
生产者消息:大约 5 个字段由","分隔,其中一个是 UUID(唯一标识符( 例如:A,B,制片人,UUID_1,E
消费者信息:大约 5 个字段由","分隔,其中一个是 UUID 例如:A,B,消费者,UUID_1,E
这里UUID是生产者和消费者之间的关系,它是动态的。
在 kafka 中,我需要某种过滤,通过该过滤,所有特定的生产者/消费者消息都将位于一个特定的主题或分区中。
我确实有一个想法如下,但无法实现它:
根据我的研究,不允许动态分区,这是正确的吗?
所以我看到的唯一选择是,根据收到的 UUID 创建一个动态主题,然后将每个 UUID 特定消息路由到该主题,一旦消息被使用,就需要删除该主题。这是正确的方法吗,如果是,如何实现这一目标?
根据我的研究,不允许动态分区,这是正确的吗?
分区可以增加,但不能减少。
根据收到的UUID创建动态主题
不要那样做,它违反了 Topic 语义,Topic 表示同类消息。
只需将"UUID_1"设置为消息"键"字段,因为 Kafka 将相同的"键"消息发送到同一个"分区",以符合"键"的哈希。