使用分区创建/更新主题-.81



我想使用版本0.81在kafka中创建一个主题,并且没有kafka-topics.sh脚本来执行命令行创建命令。我需要确保主题具有多个分区,以使多线程消费者从主题中消费消息。每条消息应仅发送一次,即使使用相同的组ID,我也无法在没有队列中进行分区。

我的另一个问题是,单个消费者作为两个单独的过程是否可以使用同一组ID进行相同的事情?基本上,我目前没有足够快地阅读队列中的消息。

由于我正在使用的较旧版本,因此我无法按照此命令建议的分区计数更新该主题:

./bin/kafka-topics.sh --create --zookeeper localhost:2181 --topic 
   my-topic --replication-factor 1 --partitions 2

我的另一个问题是,单个消费者作为两个单独的过程是否可以使用同一组ID进行相同的事情?基本上,我目前没有足够快地阅读队列中的消息。

如果我理解您的问题,答案是肯定的。我的意思是,group.ID以下列方式工作。

  1. 如果是相同的,则会使组中的消费者与负载平衡器一起工作
  2. 如果Group.ID不同,每个组都会拥有该消息的"复制",因此您可以在同一消息内容上执行不同的操作。

由于我正在使用的较旧版本,因此我无法使用此命令建议的分区计数更新该主题

我很困惑您在这里做什么,但是要更改主题的参数,您将使用" - alter" opion/命令而不是" - create"。

最新更新