kafka FileNotFoundException with kafka-log-retention task

Question

运行 23 天后，我每五分钟就会看到一次：

ERROR Uncaught exception in scheduled task 'kafka-log-retention' (kafka.utils.KafkaScheduler) java.io.FileNotFoundException: /tmp/kafka-logs/events-7/00000000000000000000.index (No such file or directory)

我的设置是：

log.dirs=/tmp/kafka-logs
num.partitions=1
num.recovery.threads.per.data.dir=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
log.cleaner.enable=false

似乎是一个非常简单的设置。目前，该系统也没有看到很多音量。

知道为什么我会看到此错误吗？

Answer 1

检查/etc/cron.daily/tmpwatch的内容。在我的机器上，它指示超过 10 天/tmp的文件将被删除。解决方案是为 Kafka log.dirs config 属性选择另一个目录。不确定如何从数据丢失中恢复，因为文件实际上已被删除。幸运的是，我的集群不适用于生产环境。