Spark Scala脚本执行命令

Question

我是新的spark我有这样的spark脚本

import org.apache.spark.SparkContext
 /**
 * Loading sales csv using DataFrame API
 */
  object CsvDataInput {
  def main(args: Array[String]) {

   val sc = new SparkContext(args(0), "Csv loading example")
   val sqlContext = new org.apache.spark.sql.SQLContext(sc) 
   val df = sqlContext.load("com.databricks.spark.csv", Map("path" -> args(1),"header"->"true"))
   df.printSchema()
   df.registerTempTable("sales")
   val aggDF = sqlContext.sql("select sum(amt),code from sales where tran='CHG' group by amt,code")
    println(aggDF.collectAsList())  
   }
 }

如何在cloudera中执行该程序我必须使用什么命令

我使用这个命令

。/bin/spark-shell——class classname——master local"Scriptpath"inputpath

但是没有输出

Answer 1

您可以使用spark-submit。例如

./bin/spark-submit --class classname --master local[*] "Scriptpath" inputpath