r-SparkR在readTypedObject(con，type)中出错:不支持反序列化的类型

Question

我刚开始使用SparkR。我写了一个简单的脚本，初始化Spark运行分析，并将我的输出收集到R。当试图通过停止sparkR时

sparkR.stop()

我得到以下信息：

Stopping SparkR
Error in readTypedObject(con, type) : Unsupported type for deserialization

看来Spark并没有停止，因为：

> sc <- sparkR.init(master="local")
Re-using existing Spark Context. Please stop SparkR with sparkR.stop() or restart R to create a new Spark Context

有人能向我解释一下发生了什么以及这个错误意味着什么吗？感谢

Answer 1

SparkR后端进程似乎没有正确退出。您可以通过列出所有带有类似jps的java进程，然后为SparkRBackend对应的pid发出kill <pid>来显式停止SparkR后台进程。在此之后重新启动SparkR应该可以修复