我是Apache Spark的新手。我听说到目前为止,没有一个CDH版本假定使用ApacheSparkSQL,hortonworks发行版也是如此。这是真的吗。。?
另一个是我的电脑上安装了CDH 5.0.0,我的CDH支持哪个版本的Apache Spark。。?
另外,有人能为我提供在CDH发行版中执行Spark程序的步骤吗。我已经使用Apache Spark 1.2版本编写了一些基本程序,但我无法在CDH环境中运行这些程序,当我使用Spark提交命令运行Spark程序时,我面临着非常基本的问题
spark-submit:找不到命令
在运行我的Spark程序之前,我需要配置什么吗。。?
提前感谢
CDH的所有发行版都包括整个Spark发行版,包括Spark SQL。
编辑:从CDH 5.5.x起支持
CDH 5.0.x包括Spark 0.9.x。
如果您正在使用CDH,spark-submit
已经是您路径的一部分。如果你从其他地方运行,你必须把这个文件放在你的路径上或给出它的完整路径。这和任何程序都一样。所以,这是你设置的问题。