如何在ApacheFlink中使用不断增长的hdfs目录作为流媒体源

Question

我们有一个时间分区的hdfs目录，它一直在增长。有没有任何方法可以使用apache-flink将此目录作为流一致地使用？

Answer 1

Flink可以监视一个目录，并在文件移动到该目录时接收文件；也许这就是你想要的。有关readfile，请参阅文档中的PROCESS_CONTINUOUSLY选项。