Kafka服务器节点出现"打开的文件太多"错误



我们使用的是3节点Kafka集群,共有151个主题,每个主题有一个分区。我们已经配置了复制因子=3。当我们开始kafka经纪人得到以下错误:

ERROR Error while accepting connection (kafka.network.Acceptor)
java.io.IOException: Too many open files

在大多数Unix系统上,最大打开文件的默认值为1024。根据您的吞吐量,您需要配置一个更高的值。尝试从32768或更高的开始

看起来这是由于文件句柄数量较少。

你能检查一下下面的文件描述符限制吗

ulimit -n

尝试将打开的文件描述符更改为更高的值:

ulimit -n <noOfFiles>

您可以获得打开文件的最大允许数量:cat /proc/sys/fs/file-max

相关内容

最新更新