使用腻子找不到目录火花

Question

我试图使用putty在hdfs上运行spark代码。

spark-submit WorstMoviesSpark.py

但是当我输入上面的代码时，它返回了一个错误:

python: can't open file '/home/maria_dev/WorstMoviesSpark.py': [Errno 2] No such file or directory

*edit:我只是犯傻。我将代码加载到本地而不是hdp。很有用的答案

Answer 1

您没有通过Spark执行该代码文件所需的权限。运行以下命令hdfs dfs -chmod 777 WorstMoviesSpark.py，然后在spark-submit命令中，在运行代码时将master作为yarn，如下所示

spark-submit --master yarn --deploy-mode client /hdfs/path/to/WorstMoviesSpark.py