限制 Kafka 流的内存使用量



有没有办法限制或定义 kafka 流应用程序的最大内存使用量? 我已经为我的状态存储启用了缓存,但是当我在 Openshift 中部署时,我的 Pod 上的 OOM 被杀死了。 我已经检查了我没有内存泄漏,并且我的所有状态存储迭代器都已关闭。

我已经将我的RocksDbConfigSetter更新为 https://github.com/facebook/rocksdb/wiki/Setup-Options-and-Basic-Tuning#other-general-options 中的建议,但没有运气。

当我查看状态存储目录时,大小约为 2GB。 当前有 50GB 的内存分配给应用程序,它仍然是 OOM

计算为

应用程序创建的状态存储量以及应用程序的总大小

StreamsConfig.topicPrefix(TopicConfig.RETENTION_BYTES_CONFIG)

它将限制状态存储存储的数据,以及流应用程序的状态存储也保存在 kafka 主题中

最新更新