如何在 Qubole 中传递 --properties-file 到 spark-submit?

Question

我在 Qubole 中使用 Spark，方法是在 AWS 中创建集群。 在Qubole 工作台中，当我执行下面的命令行时，它工作正常并且命令成功

/usr/lib/spark/bin/spark-submit s3://bucket-name/SparkScripts/test.py

但是，当我执行相同的命令以及 --properties-file 选项

/usr/lib/spark/bin/spark-submit --properties-file s3://bucket-name/SparkScripts/properties.file s3://bucket-name/SparkScripts/test.py

它给出了以下错误消息

Qubole>命令行管理程序命令失败，退出代码：1

应用程序> 获取初始化 Qubole 安全提供程序所需的有效配置时出错

应用程序>线程"main"中的异常 java.lang.IllegalArgumentException：要求失败：属性文件 s3：/bucket-name/SparkScripts/properties.file 不存在

有人可以帮我解决这个问题吗？ 我需要将一些应用程序属性存储在 Amazon S3 上的单独文件中，并将其传递给我的 Spark 程序的 --properties-file。

Answer 1

@saravanan -Qubole 目前无法从 S3 路径指定 --属性文件。它将在版本 59 中提供。