如何在 Spark 2.1.0 中提交 python 文件

Question

我目前正在运行 spark 2.1.0。我大部分时间都在 PYSPARK shell 中工作，但我需要 Spark-submit 一个 python 文件(类似于 java 中的 spark-submit jar(。你如何在python中做到这一点？

Answer 1

pythonfile.py

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("appName").getOrCreate()
sc = spark.sparkContext
rdd = sc.parallelize([1,2,3,4,5,6,7])
print(rdd.count())

使用您想要的配置运行上述程序：例如：

 YOUR_SPARK_HOME/bin/spark-submit --master yourSparkMaster --num-executors 20 
        --executor-memory 1G --executor-cores 2 --driver-memory 1G 
        pythonfile.py

这些选项不是强制性的。你甚至可以像

YOUR_SPARK_HOME/bin/spark-submit --master sparkMaster/local pythonfile.py