窗口正在使用无限循环之类的东西,我正在处理后打印数据流,但看起来它根本没有达到该点。
下面是我的伪代码。
Datastream env = StreamExecutionEnvironment.getExecutionEnvironment()
env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)
Datastream stream = env.addSource() .map(mapping to java object)
.filter(filter for specific type of events)
.assignTimestampsAndWatermarks(
new BoundedOutOfOrdernessTimestampExtractor(Time.seconds(2)){})
Datastream processedStream = stream .keyBy(...)
.window(TumblingEventTimeWindows.of(Time.seconds(10))) .reduce()
processedStream.print()
我添加了日志以在减少功能中打印。日志正在从减少功能中打印出来。但是流并未打印。
和流源数据是历史数据,即超过2个月的数据。如果要进行历史数据流,需要专门设置其他内容?
任何输入都会有很大的帮助。
您可以使用Flink Web UI检查水印,以查看当前水印是否足够前进以触发窗口。有关水印的更多信息,请参阅Flink培训网站。