一段时间后停止Spark streaming中的流上下文

Question

我正在构建一个从Twitter接收数据流的应用程序，停止流上下文的唯一方法是停止执行。我想知道是否有一种方法可以在不停止整个应用程序的情况下设置时间并终止流式套接字？

Answer 1

您可以使用任一

awaitTerminationOrTimeout(long)

如前一个答案中所述，或者您可以从另一个线程手动停止流式传输上下文：

    // in the main thread
    awaitTermination(); // will wait forever or until the context is stopped
    // in another thread
    streamingContext.stop();

Answer 2

您可以在streamingContext对象上使用awaitTermination()方法等待指定的时间。请参阅此