Spark: Spark -submit将在哪个目录下找到——files?

Question

我看到我们可以使用spark-submit --files向作业添加文件。如果我指定像spark-submit --files /etc/somescript.sh这样的绝对路径，这是没有问题的。

但是如果我只输入spark-submit --files somescript.sh，它会搜索什么目录?是当前的工作文件夹还是所有的类路径?

Answer 1

Spark将在当前文件夹中搜索指定的文件。

你可以在spark的github repo上查看代码流程。

https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/deploy/SparkSubmitArguments.scala L402

https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/util/Utils.scala L2069