Flink中基于Unbounded Collection的流

Question

是否可以在flink中创建一个无边界的集合流。就像在映射中一样，如果我们添加一个元素，flink应该像在套接字流中一样处理。一旦读取了初始元素，它就不应该退出。

Answer 1

您可以创建一个自定义SourceFunction，它永远不会终止(直到调用cancel()，并在元素出现时发出元素

class MyUnboundedSource extends RichParallelSourceFunction<MyType> {
...
private transient volatile boolean running;
...
@Override
public void run(SourceContext<MyType> ctx) throws Exception {
while (running) {
// Call some method that returns the next record, if available.
MyType record = getNextRecordOrNull();
if (record != null) {
ctx.collect(record);
} else {
Thread.sleep(NO_DATA_SLEEP_TIME());
}
}
}
@Override
public void cancel() {
running = false;
}
}

请注意，为了支持至少一次或完全一次的记录生成，您需要担心保存状态。