在 Apache Spark 中导入苏打水 (H2O) 管道时出错:py4j.protocol.Py4JError

Question

我最近在最后阶段使用Sparkling Water的AutoML创建了一个PySpark管道(与 https://github.com/h2oai/sparkling-water/blob/master/py/examples/pipelines/ham_or_spam_multi_algo.py 非常相似(，但是当我从文件加载模型时，我收到此错误：

前任：

model = loaded_pipeline.fit(data)
model.write().overwrite().save("examples/build/model")
loaded_model = PipelineModel.load("examples/build/model")

py4j.protocol.Py4JError: ai.h2o.sparkling.ml.models.H2OMOJOModel.H2OSupervisedMOJOModel does not exist in the JVM

我有当前的软件包/版本：H2O (3.28.0.3(，h2o-pysparkling-2-4 (3.28.0.3-1(，PySpark (2.4.3(，Py4j (0.10.7(。 当我将 H2O/苏打水更新到 3.28 版本时，我才收到此错误。它是否与某些环境变量或包版本的定义有关？

Answer 1

请在代码开头运行from pysparkling import *。此调用可确保我们将苏打水依赖项添加到 Spark 应用。