如果会话停止,火花上下文会发生什么



如果我停止使用spark.stop()的名为spark的现有Spark会话,则该上下文会怎样?它也会自动杀死吗?我之所以问,是因为我接管了一些代码:

spark.stop()
sc.stop()

我想知道我是否需要第二个命令。

感谢如何检查SparkContext已停止?我找到了方法isStopped,如果我运行

spark.stop()
spark.sparkContext.isStopped

它返回" true"。因此,似乎停止会话也阻止了上下文,即例如,我的第一篇文章中的第二个命令是多余的。

请注意在Pyspark isStopped中似乎不起作用:"'SparkContext'对象没有属性'iSStopped'"。我用Spark Scala进行了检查。

最新更新