在pybling独立集群中设置spark.ext.h2o.backend.cluster.mode=external时出



代码:

import pandas as pd
from pyspark.sql import SparkSession
from pysparkling import *
import h2o
from pysparkling.ml import H2OAutoML
spark = SparkSession.builder.appName('SparkApplication').getOrCreate()
hc = H2OContext.getOrCreate()

Spark提交命令:

spark-submit--masterspark://local:7077--py文件喷水3.36.1.3-1-3.2/py/h2o_pysparking_3.2-3.6.1.3-1-3.2.zip--conf";spark.ext.h2o.backend.coluster.mode=external&quot--conf-spark.ext.h2o.external.start.mode=";自动--confspark.ext.h2o.external.h2o.driver="/home/whit/spark/h2o驱动程序-3.36.1.3.jar";--conf-spark.ext.h2o.external.cluster.size=2 spark_h20/h2o_script.py

错误日志:py4j.protocol.Py4JJava错误:调用o58.getOrCreate时出错。:java.io.io异常:无法运行程序"hadoop":error=2,没有这样的文件或目录**

软件外部后端的自动启动仅在Hadoop或K8s环境中支持。在独立部署中,您需要根据软件文档中的教程手动部署外部后端。

最新更新