是否有一种方法可以在Kafka流中重新分配输入主题

Question

我有一个由字节[]钥匙的主题，我想重新分配它，并通过消息主体中字段中的另一个键处理该主题。

我发现有KGroupedStream和groupby功能。但是它要求一个聚合函数转换为ktable/kStream。我不需要聚集。我只想重新分配和处理输出。

Answer 1

是的。您设置了一个新键，然后通过另一个主题将数据管输送。

// repartition() will create the required topic automatically for your,
// with the same number of partitions as your input topic;
//
// it's also possible to set the number of partitions explicitly to scale in/out
// via `repartitioned(Repartitioned.numberOfPartitions(...))`
KStream stream = ...
KStream repartionedStream = stream.selectKey(...)
                                  .repartition();
// older versions:
//
// using `through()` you need to create the use topic manually,
// before you start your application
KStream stream = ...
KStream repartionedStream = stream.selectKey(...)
                                  .through("topic-name");

请注意，您需要在使用所需的分区数量启动应用程序之前创建您在through()中使用的主题。

Answer 2

(kafka流2.5.x或以上(

不确定这是否完全是犹太洁食，但是它可以自动创建且有正确数量的分区wrt wrt stream。

KTable emptyTable = someTable.filter((k, v) -> false);
KStream stream = ...
KStream repartionedStream = stream.selectKey(...)
                            .leftJoin(emptyTable, (v, Null) -> v, ...);

编辑

这种方法显然变成了一个复杂的憎恶，值得一批雪崩，并在2020年8月引入了Kafka流2.6.0时进行了鞭打，并存在KStream.pottition((。

。

So streams版本 2.6.x 您必须使用

KStream stream = ...
KStream repartionedStream = stream.selectKey(...)
                                  .repartition();

Answer 3

kStream接口上有一个方法retartition((，它允许您根据SERDES和streamPartitioner重新分配主题，而不是映射/selectingkey((加上通过或浏览a tabl a tough a或repottition。