错误:必须指定主要资源(JAR或Python文件) - Spark提交Python应用程序

Question

我想完成一个简单的任务。我有一组工人。我想部署包含python files集的zip-Archive。然后，我想发送一些command，一段时间后，我想获得结果。

无论如何，我将文件提交给工人：

spark-submit --master spark://User-PC:7077 --py-files deploy.zip --name ParserExecutor

我有错误：

Error: Must specify a primary resource (JAR or Python file)
Run with --help for usage help or --verbose for debug output
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties

deploy.zip包含ParserExecutor.py。

Answer 1

尝试此>> Spark-Submit -master Spark：//user-pc：7077 -py-files deploy.zip -name parserexecutor parserexecutor.py

Answer 2

使用SPARK 1.3.0 您也可以执行：

./spark-submit ParserExecutor.py