apache / cloudera hue / livy spark服务器 - interneTerError:无法启



目前我亏本了。我正在尝试使用Spark 2.4 Livy Server 0.5.0在Apache Hue 4.3上运行Pyspark/SparkR。我已经遵循了我能找到的每一个指南,但是我一直遇到这个问题。基本上,我可以通过命令行运行pyspark/sparkR,但是出于某种原因,色调会做以下操作:

  • 忽略我在多个位置设置的所有SPARK配置(执行器内存,内核等)(spark-defaults.conflivy.conflivy-client.conf
  • 成功地为Pyspark和SparkR创建会话,但是当您尝试做任何事情(即使只是print(1+1))时,我都会得到InterpreterError: Fail to start interpreter
  • 实际上与Scala合作。Scala有效,但是Pyspark和SparkR不在色调上(大概是因为Scala是基于Java的)。

我可以提供的任何配置。这使我绝对疯狂。

我也无法通过REST API与Pyspark进行交互,这也无法与Pysererror相同。这使我相信它比色调更具活力的服务器。

弄清楚了。我试图以cluster模式在纱线上运行火花,然后切换到client并将其修复。一定是群集机上错过的参考/文件。

最新更新