长时间运行的流处理的 Flink 示例作业



我正在寻找一个用于测试目的的长时间运行的流处理的 Flink 示例作业。我检查了 Flink 项目中包含的 streaming/WordCount,但似乎它没有长时间运行,处理完输入文件后,它会退出。

我需要自己写一个吗?获得无尽流输入的最简单方法是什么?

WordCount 示例退出,因为它的来源是有限的。一旦它完全处理了它的输入,它就会退出。

Flink Operations Playground 是永久运行的流媒体作业的一个很好的例子。

根据定义,只要您不定义任何停止条件或手动取消作业,每个流式处理作业都会"永久"运行。我猜你要求的是一些从某种无限来源消耗的工作。我能找到的最简单的工作是 twitter 示例,它包含在 flink 项目本身中:

https://github.com/apache/flink/blob/master/flink-examples/flink-examples-streaming/src/main/scala/org/apache/flink/streaming/scala/examples/twitter/TwitterExample.scala

通过一些调整,您还可以使用套接字示例(在那里您可以更好地控制源(:

https://github.com/apache/flink/blob/master/flink-examples/flink-examples-streaming/src/main/scala/org/apache/flink/streaming/scala/examples/socket/SocketWindowWordCount.scala

希望我答对了你的问题,这有帮助。

相关内容

  • 没有找到相关文章

最新更新