Kafka KStream to KStream join | restart performance



我计划在很长的窗口(~1周(内将两个主题作为KStreams加入。假设此窗口中将累积数亿条记录,则加入的使用者需要多长时间才能重新启动?我之所以问这个问题,是因为我无法找到有关窗口中有多少记录存储在消费者缓存中的信息。

默认情况下,缓冲在窗口中的数据存储在 RocksDB 中,即本地磁盘。因此,在重新启动时(在同一台计算机上(,由于数据已经可用,因此无需重新加载任何内容。

如果在另一台计算机上重新启动,则需要从 Kafka 主题(备份存储以保证容错(重新读取存储的全部内容。这需要多长时间取决于许多因素,很难估计。不过,您可以注册"还原回调"以监视还原过程。这应该会给你一些方法来运行一些实验,以了解可能需要多长时间。

最新更新