我正在使用Kafka Streams,我注意到它使我的kafka记录了很多日志消息,例如:
[2019-04-17 09:06:16,541] INFO [Log partition=my-application-KSTREAM-AGGREGATE-STATE-STORE-0000000076-repartition-0, dir=/opt/kafka/data/logs] Incrementing log start offset to 316423 (kafka.log.Log) [2019-04-17 09:06:16,545] INFO [Log partition=my-application-KSTREAM-AGGREGATE-STATE-STORE-0000000033-repartition-2, dir=/opt/kafka/data/logs] Incrementing log start offset to 3394 (kafka.log.Log)
[2019-04-17 09:06:16,546] INFO [Log partition=my-application-KSTREAM-AGGREGATE-STATE-STORE-0000000012-repartition-1, dir=/opt/kafka/data/logs] Incrementing log start offset to 3102 (kafka.log.Log)
[2019-04-17 09:06:16,549] INFO [Log partition=my-application-KSTREAM-AGGREGATE-STATE-STORE-0000000067-repartition-3, dir=/opt/kafka/data/logs] Incrementing log start offset to 4168 (kafka.log.Log)
[2019-04-17 09:06:16,551] INFO [Log partition=my-application-KSTREAM-AGGREGATE-STATE-STORE-0000000086-repartition-3, dir=/opt/kafka/data/logs] Incrementing log start offset to 329670 (kafka.log.Log)
这真的很令人不安,因为我淹没了日志,所以我看不到其他任何东西(也消耗资源(。
为什么(某些(Kafka Streams 内部主题会发生这种情况,而其他主题却不会发生这种情况?
如何禁用它?
Kafka Streams 在处理数据后会主动清除重新分区主题,以释放 Kafka 集群中的存储空间(参见 https://issues.apache.org/jira/browse/KAFKA-6150(。无法禁用此功能。
作为解决方法,您可以重新配置重新分区主题配置参数segment.bytes
和segment.ms
,并将其设置为更高的值。请注意,这将使数据清除效率降低,从而导致 Kafka 集群中的磁盘使用量增加。