Kafka将打开文件的数量减少到1000000



我有一个kafka,每分钟从某些事件中接收1gb的数据,因此打开的文件数将超过1000000。我不确定需要更改哪个设置才能减少这种情况。有人能指导什么是快速解决方案吗?我应该增加log.segment.bytes=1073741824吗到10 GB,以减少创建的文件数量,或增加log.reduration.check.interval.ms=300000到15分钟,从而减少检查删除的次数

增加段的大小将减少代理维护的文件数量,其中的权衡是只有关闭的段才能被清理或压缩。

另一种选择是重新考虑您使用的数据类型。例如,如果发送文件或其他大型二进制Blob,请考虑使用文件系统URI,而不是通过主题推送整个数据

相关内容

最新更新