尽管设置了清理和保留策略，但Kafka持久存储仍在增长

Question

我们看到Kafka的持久存储稳步增长，每天约10%，这实际上意味着配置没有调整。有3个经纪人和5个主题。保留时间配置为2小时。

以下是配置参数集-

主题级别：

retention.ms=7200000
delete.retention.ms=7200000
segment.ms=7200000
cleanup.policy=delete
file.delete.delay.ms=1
segment.bytes=150000

经纪人级别：

"log.cleaner.delete.retention.ms": "7200000"
"log.retention.ms": "7200000"

如有任何帮助，我们将不胜感激。提前谢谢。

Answer 1

似乎已经解决了这个问题。。执行的步骤-

1. 登录kafka broker
2. 从/opt/kafka/data/0/logs/路径中按文件大小的降序获取文件列表
3. 将文件映射到kafka中已经存在的主题-由于命名约定，应该很容易识别
4. 对日志文件大于10 MB的每个主题应用了上述设置
5. 保留时间设置为30分钟，而不是问题中发布的3小时