想象一下,你正在使用火花壳工作数小时,你有现有的数据帧,你不想丢失它们,后来你发现你需要另一个罐子里的东西......
在再次加载 --packages 之前,我是否必须终止现有的火花外壳会话?
在再次加载 --packages 之前,我是否必须终止现有的火花壳会话?
我怀疑是否有可能在spark-shell
所有的"好东西"使Spark与Scala隐式等等很好地工作。
即使您设法在加载新jar文件的情况下创建了一个SparkContext
或SparkSession
,那么您已经创建的现有数据结构呢?它们使用另一个"不兼容"的会话,因此将变得不可用(或会导致难以跟踪的类加载器问题)。
所以,是的,我建议离开现有的spark-shell
会话并重新开始。