我正在寻找一个用于测试目的的长时间运行的流处理的 Flink 示例作业。我检查了 Flink 项目中包含的 streaming/WordCount,但似乎它没有长时间运行,处理完输入文件后,它会退出。
我需要自己写一个吗?获得无尽流输入的最简单方法是什么?
WordCount 示例退出,因为它的来源是有限的。一旦它完全处理了它的输入,它就会退出。
Flink Operations Playground 是永久运行的流媒体作业的一个很好的例子。
根据定义,只要您不定义任何停止条件或手动取消作业,每个流式处理作业都会"永久"运行。我猜你要求的是一些从某种无限来源消耗的工作。我能找到的最简单的工作是 twitter 示例,它包含在 flink 项目本身中:
https://github.com/apache/flink/blob/master/flink-examples/flink-examples-streaming/src/main/scala/org/apache/flink/streaming/scala/examples/twitter/TwitterExample.scala
通过一些调整,您还可以使用套接字示例(在那里您可以更好地控制源(:
https://github.com/apache/flink/blob/master/flink-examples/flink-examples-streaming/src/main/scala/org/apache/flink/streaming/scala/examples/socket/SocketWindowWordCount.scala
希望我答对了你的问题,这有帮助。