如何在Spark中增加参数列表的大小

Question

使用以下命令时，会出现与参数列表大小有关的错误。

Spark-submit --master yarn --deploy-mode cluster --py-files /home/user/sandbox/ldsm/ldsm.py --input s3://bucket1/file1 

错误消息：

Spark-submit failed while reading data from s3 on EMR.
Spark-submit --master yarn --deploy-mode cluster --py-files /home/user/sandbox/ldsm/ldsm.py --input s3://bucket1/file1 s3://bucket1/file2...s3://bucket1/file900 parameter ( --input) has 900 arguments
The length of argument list is 170 kb
It failed with /bin/bash : Arguments too long

我想知道如何增加参数列表的大小。

Answer 1

使用双引号来阻止bash扩展的路径参数"s3://bucket1/file1"；