如何使用 spark-submit 提交包含查询的查询或.sql文件



我想在 Spark 上运行查询。我把它们都放在我的.sql文件中

目前我的运行方式是:

spark-sql --master yarn /home/myuser/query.sql

但是一旦查询完成执行,它就会进入 spark-sql> ....外壳提示 然后作业状态不会更改为成功完成,它显示正在运行,因为 spark-sql> 外壳处于活动状态,所以我必须显式执行 CTRL+C 才能从外壳中出来。

所以基本上我只想提交一个 spark 作业,它实际上是使用 shell 脚本文件的查询,而无需进入任何 spark 特定的 shell。

我不想在类文件中编写查询,然后构建一个 jar 然后提交。

刚刚发现 -f 选项为我完成了这项工作。

spark-sql --master yarn -f /home/myuser/query.sql

最新更新