如何使用KAFKA自动加载平衡

Question

这是我的任务：

file_1：[task_1_1，task_1_2，...]

file_2：[task_2_2，task_2_2，...]

...

file_n：[task_n_1，task_n_2，...]

现在，我想按顺序运行文件任务（可以同时处理不同的文件的任务）。我应该如何设计Kafka主题或分区来实现这一目标，或者您还有其他MQ选项：

1. 每个消费者过程都是无状态的。
2. 每个任务将至少处理一次。
3. 在消费者流程被杀死，重新启动或添加新的过程后，它将自动加载余额。

任何建议都将不胜感激。

Answer 1

这些问题在Kafka文档中很好地解决了。您提出的一些问题是您可以阅读的基本KAFKA功能（例如，消费者组自动平衡和消息交付保证）。请参阅：https：//kafka.apache.org/documentation/