卡夫卡流 - 淹没卡夫卡原木



我正在使用Kafka Streams,我注意到它使我的kafka记录了很多日志消息,例如:

[2019-04-17 09:06:16,541] INFO [Log partition=my-application-KSTREAM-AGGREGATE-STATE-STORE-0000000076-repartition-0, dir=/opt/kafka/data/logs] Incrementing log start offset to 316423 (kafka.log.Log) [2019-04-17 09:06:16,545] INFO [Log partition=my-application-KSTREAM-AGGREGATE-STATE-STORE-0000000033-repartition-2, dir=/opt/kafka/data/logs] Incrementing log start offset to 3394 (kafka.log.Log) 
[2019-04-17 09:06:16,546] INFO [Log partition=my-application-KSTREAM-AGGREGATE-STATE-STORE-0000000012-repartition-1, dir=/opt/kafka/data/logs] Incrementing log start offset to 3102 (kafka.log.Log) 
[2019-04-17 09:06:16,549] INFO [Log partition=my-application-KSTREAM-AGGREGATE-STATE-STORE-0000000067-repartition-3, dir=/opt/kafka/data/logs] Incrementing log start offset to 4168 (kafka.log.Log) 
[2019-04-17 09:06:16,551] INFO [Log partition=my-application-KSTREAM-AGGREGATE-STATE-STORE-0000000086-repartition-3, dir=/opt/kafka/data/logs] Incrementing log start offset to 329670 (kafka.log.Log)

这真的很令人不安,因为我淹没了日志,所以我看不到其他任何东西(也消耗资源(。

为什么(某些(Kafka Streams 内部主题会发生这种情况,而其他主题却不会发生这种情况?

如何禁用它?

Kafka Streams 在处理数据后会主动清除重新分区主题,以释放 Kafka 集群中的存储空间(参见 https://issues.apache.org/jira/browse/KAFKA-6150(。无法禁用此功能。

作为解决方法,您可以重新配置重新分区主题配置参数segment.bytessegment.ms,并将其设置为更高的值。请注意,这将使数据清除效率降低,从而导致 Kafka 集群中的磁盘使用量增加。

相关内容

  • 没有找到相关文章

最新更新