Kafka 中的 retention.bytes 是否限制每个副本的分区大小或分区的所有副本组合的大小？

Question

我有一个kafka主题需要根据大小config:retention.bytes进行限制。本主题有4个分区。

每个分区在3个不同的代理上有1个前导和2个副本。

说保留值.bytes=1073741824

是不是每个复制副本都将被限制为1GB，这意味着每个分区都被限制为3GB的日志。

或者每个分区(总共3个代理上的日志(将被限制为1GB的日志？

Answer 1

retention.bytes设置应用于每个分区。

例如，如果设置为1073741824，Kafka将在每个分区中保留至少1GB的数据。因此，如果您有4个分区，那么保留的数据的总大小将是4GB。

所有复制副本都将具有相同的大小。因此，如果您有一个主题，其中有4个分区，复制因子为2，retention.bytes设置为1GB，则总大小(将分布到至少2个代理上(将为8GB。