如果我停止使用spark.stop()
的名为spark
的现有Spark会话,则该上下文会怎样?它也会自动杀死吗?我之所以问,是因为我接管了一些代码:
spark.stop()
sc.stop()
我想知道我是否需要第二个命令。
感谢如何检查SparkContext已停止?我找到了方法isStopped
,如果我运行
spark.stop()
spark.sparkContext.isStopped
它返回" true"。因此,似乎停止会话也阻止了上下文,即例如,我的第一篇文章中的第二个命令是多余的。
请注意在Pyspark isStopped
中似乎不起作用:"'SparkContext'对象没有属性'iSStopped'"。我用Spark Scala进行了检查。