Cloudera Hadoop发行版是否支持Apache Spark SQL



我是Apache Spark的新手。我听说到目前为止,没有一个CDH版本假定使用ApacheSparkSQL,hortonworks发行版也是如此。这是真的吗。。?

另一个是我的电脑上安装了CDH 5.0.0,我的CDH支持哪个版本的Apache Spark。。?

另外,有人能为我提供在CDH发行版中执行Spark程序的步骤吗。我已经使用Apache Spark 1.2版本编写了一些基本程序,但我无法在CDH环境中运行这些程序,当我使用Spark提交命令运行Spark程序时,我面临着非常基本的问题

spark-submit:找不到命令

在运行我的Spark程序之前,我需要配置什么吗。。?

提前感谢

CDH的所有发行版都包括整个Spark发行版,包括Spark SQL。

编辑:从CDH 5.5.x起支持

CDH 5.0.x包括Spark 0.9.x。

如果您正在使用CDH,spark-submit已经是您路径的一部分。如果你从其他地方运行,你必须把这个文件放在你的路径上或给出它的完整路径。这和任何程序都一样。所以,这是你设置的问题。

最新更新