目前我亏本了。我正在尝试使用Spark 2.4 Livy Server 0.5.0在Apache Hue 4.3上运行Pyspark/SparkR。我已经遵循了我能找到的每一个指南,但是我一直遇到这个问题。基本上,我可以通过命令行运行pyspark/sparkR,但是出于某种原因,色调会做以下操作:
- 忽略我在多个位置设置的所有SPARK配置(执行器内存,内核等)(
spark-defaults.conf
,livy.conf
和livy-client.conf
) - 成功地为Pyspark和SparkR创建会话,但是当您尝试做任何事情(即使只是
print(1+1)
)时,我都会得到InterpreterError: Fail to start interpreter
- 实际上与Scala合作。Scala有效,但是Pyspark和SparkR不在色调上(大概是因为Scala是基于Java的)。
我可以提供的任何配置。这使我绝对疯狂。
我也无法通过REST API与Pyspark进行交互,这也无法与Pysererror相同。这使我相信它比色调更具活力的服务器。
弄清楚了。我试图以cluster
模式在纱线上运行火花,然后切换到client
并将其修复。一定是群集机上错过的参考/文件。