Kafka代理程序由于日志目录失败而关闭

Question

我有一个3个代理Kafka集群，其中Kafka日志位于/tmp目录中。我正在运行Debezium Source Connector到MongoDB，它轮询来自4个集合的数据。

然而，在启动连接器后的5分钟内，Kafka代理将关闭，并出现以下错误：

[2020-04-16 18:25:08,642] ERROR Shutdown broker because all log dirs in /tmp/kafka-logs-1 have failed (kafka.log.LogManager)

我尝试了不同的建议，即删除Kafka日志和清除Zookeeper日志。但我又遇到了同样的问题。

我还注意到，当这种情况发生时，kafka日志会占据/tmp目录的100%。因此，我还根据大小更改了日志保留策略。

log.retention.hours=168
log.retention.bytes=1073741824
log.segment.bytes=1073741824
log.retention.check.interval.ms=10000

这也是徒劳的。我想在这方面得到一些帮助。提前感谢！

Answer 1

日志文件损坏可能是因为存储空间不足。

---

我建议在server.properties中更改log.dirs。还要确保你没有使用tmp/位置，因为一旦你的机器关闭，它就会被清除。一旦你更改了log.dirs，你就可以重新启动Kafka。

请注意，旧邮件将丢失。