有没有办法在不杀死它的情况下在现有的火花壳会话中加载一个罐子?



想象一下,你正在使用火花壳工作数小时,你有现有的数据帧,你不想丢失它们,后来你发现你需要另一个罐子里的东西......

在再次加载 --packages 之前,我是否必须终止现有的火花外壳会话?

在再次加载 --packages 之前,我是否必须终止现有的火花壳会话?

我怀疑是否有可能在spark-shell所有的"好东西"使Spark与Scala隐式等等很好地工作。

即使您设法在加载新jar文件的情况下创建了一个SparkContextSparkSession,那么您已经创建的现有数据结构呢?它们使用另一个"不兼容"的会话,因此将变得不可用(或会导致难以跟踪的类加载器问题)。

所以,是的,我建议离开现有的spark-shell会话并重新开始。

最新更新