我们使用的是3节点Kafka集群,共有151个主题,每个主题有一个分区。我们已经配置了复制因子=3。当我们开始kafka经纪人得到以下错误:
ERROR Error while accepting connection (kafka.network.Acceptor)
java.io.IOException: Too many open files
在大多数Unix系统上,最大打开文件的默认值为1024。根据您的吞吐量,您需要配置一个更高的值。尝试从32768或更高的开始
看起来这是由于文件句柄数量较少。
你能检查一下下面的文件描述符限制吗
ulimit -n
尝试将打开的文件描述符更改为更高的值:
ulimit -n <noOfFiles>
您可以获得打开文件的最大允许数量:cat /proc/sys/fs/file-max