将 PySpark 作业提交到带有"--py-files"参数的集群

Question

我试图提交一个作业，使用python文件zip的GCS uri(通过——py-files参数)和python文件名作为PY_FILE参数值。这似乎并不奏效。我需要为PY_FILE值提供一些相对路径吗?PY_FILE也包含在zip文件中。例如在

gcloud beta dataproc jobs submit pyspark  --cluster clustername --py-files gcsuriofzip PY_FILE    

PY_FILE的值应该是多少?

Answer 1

这是个好问题。为了回答这个问题，我将使用PySpark wordcount示例。

在这种情况下，我创建了两个文件，一个名为test.py，这是我想要执行的文件，另一个名为wordcount.py.zip，这是一个包含修改的 wordcount.py文件的zip，旨在模拟我想要调用的模块。

我的test.py文件看起来像这样:

import wordcount
import sys
if __name__ == "__main__":
    wordcount.wctest(sys.argv[1])

我修改了wordcount.py文件，删除了main方法，并添加了一个命名方法:

...
from pyspark import SparkContext
...
def wctest(path):
    sc = SparkContext(appName="PythonWordCount")
...

我可以通过使用以下gcloud命令在Dataproc上调用整个东西:

gcloud beta dataproc jobs submit pyspark  --cluster <cluster-name> 
--py-files gs://<bucket>/wordcount.py.zip gs://<bucket>/test.py  
gs://<bucket>/input/input.txt

在本例中，<bucket>是我的桶的名称(或路径)，<cluster-name>是我的Dataproc集群的名称。