我们正在使用kafka stream的窗口加入2个流,我们想知道:
- 为什么KS在内部主题中添加 24小时?例如,我们有一个1小时的窗口,但内部主题保留了25小时。我们可以将其配置为不添加24H吗?
- KS似乎将两个流的数据保留在窗口中 - 内部主题和州商店(RockSDB( - 有没有办法仅将流在JOIN的左侧保持?
[更新]
例如,我们创建这样的JoinWindow:
JoinWindows.of(300000).before(600000).until(3600000)
尽管我可以看到内部主题(用于Jointhis and Outerother(是用
创建的Configs:retention.ms=90000000
现在在我的机器上的一个空经纪人(使用Contruent CLI工具(上进行了测试
我将部分回答我自己的有关 24H的问题:确实,文档清楚地在此处清楚地讨论了这一点:https://kafka.apache.org/10/documentation/streams/developer-guide/processor-api.html#fault-tolerant-tolerant-state-state-state-come:
默认保留设置是Windows#nactionms(( 1天。您可以通过指定streamsconfig.window_store_change_change_additional_retention_mtention_ms_config in StreamSconfig。
来覆盖此设置。
这是关于window_store_change_change_additional_retention_ms_config