访问 Kafka 流的 KTable 底层 RocksDB 内存使用情况



我有一个kafka流应用程序,该应用程序当前使用3个主题并将它们汇总到一个ktable中。该应用程序位于马拉松比赛中的Scala微服务中,该微服务已分配了512 MB内存。实施此功能后,我注意到运行微服务的Docker容器最终会用尽内存,并试图调试原因。

我当前的理论(在阅读尺寸指南https://docs.confluent.io/current/current/streams/sizing.html)中,随着时间的流逝,存储在ktable和扩展中的增加记录,基础岩石,基础岩石,,基础岩石,,基础岩石,正在引起微服务的OOM。有什么方法可以找出基础默认rocksdb实现的内存?

如果任何人遇到类似问题,设置环境变量malloc_arena_max = 2似乎已经为我修复了它。有关原因的更详细说明,请参阅"为什么内存分配者有所作为?"部分。和"调整glibc"此处:https://github.com/prestodb/presto/issues/8993。

最新更新