我读到有一个关于代理的配置,用于设置offset.retention.minutes
保留偏移量数据的时间。我的Kafka架构由3个ZK、3个Brokers和2个Kafka连接工作者组成。我使用的设置与此帖子一起提供。我已经将此配置设置为10分钟,但没有效果,而且我仍然有错误,因为我的磁盘已满,我认为__consumer_offset
是罪魁祸首。
偏移量。保留时间。分钟
以下声明来自卡夫卡的文件。
在消费者组失去其所有消费者(即变为空(后,其补偿将在丢弃之前保留此保留期。对于独立使用者(使用手动分配(,偏移量将在上次提交时间加上此保留期后过期。
在Kafka 2.4.0版本中,添加了一个改进Kafka-8730,它提供了手动删除_consumer_offset(KIP-496(的功能
在KafkaAdminClient类中,为其提供了deleteConsumerGroupOffsets函数。请浏览以下URL以获得有关此方面的详细信息。
https://github.com/apache/kafka/pull/7276
https://github.com/apache/kafka/blob/trunk/clients/src/main/java/org/apache/kafka/clients/admin/KafkaAdminClient.java
希望对你来说充满希望。
我已经对消费者偏移设置的影响进行了一些研究。影响磁盘空间消耗的不仅仅是consumer_offset,还有主题保留时间。因此,在我的情况下,我使用基于大小和时间的保留,而不是仅设置大小或时间。