如何使用火花提交提交 pyspark 作业?

Question

我正在使用Spark 2.4.3版本。 此命令是否足以提交作业？

Spark-submit accum.py/home/karthi/accm.txt

在哪里提交此命令？

Answer 1

是的，如果要提交带有 Python 模块的 Spark 作业，则必须运行spark-submit module.py。

Spark 是一个分布式框架，因此当您提交作业时，这意味着您将作业"发送"到集群中。但是，您也可以使用相同的命令(独立模式(在机器中轻松运行它。

你可以在Spark官方文档中找到示例：https://spark.apache.org/docs/2.4.3/submitting-applications.html

注意：要运行 Spark 提交，您有两种选择：

转到/path/to/spark/bin 并运行spark-submit /path/to/module.py

或者在 .bashrc 中添加以下内容并在任何地方使用 run-submit

export SPARK_HOME=/usr/local/spark 
export PATH=$PATH:$SPARK_HOME/bin