kafka溪流窗口加入保留



我们正在使用kafka stream的窗口加入2个流,我们想知道:

  • 为什么KS在内部主题中添加 24小时?例如,我们有一个1小时的窗口,但内部主题保留了25小时。我们可以将其配置为不添加24H吗?
  • KS似乎将两个流的数据保留在窗口中 - 内部主题和州商店(RockSDB( - 有没有办法仅将流在JOIN的左侧保持?

[更新]

例如,我们创建这样的JoinWindow:

JoinWindows.of(300000).before(600000).until(3600000)

尽管我可以看到内部主题(用于Jointhis and Outerother(是用

创建的
Configs:retention.ms=90000000

现在在我的机器上的一个空经纪人(使用Contruent CLI工具(上进行了测试

我将部分回答我自己的有关 24H的问题:确实,文档清楚地在此处清楚地讨论了这一点:https://kafka.apache.org/10/documentation/streams/developer-guide/processor-api.html#fault-tolerant-tolerant-state-state-state-come:

默认保留设置是Windows#nactionms(( 1天。您可以通过指定streamsconfig.window_store_change_change_additional_retention_mtention_ms_config in StreamSconfig。

来覆盖此设置。

这是关于window_store_change_change_additional_retention_ms_config

的Javadoc

相关内容

  • 没有找到相关文章

最新更新