如何在 spark-2.1.1-bin-hadoop2.7 的 bin 文件夹之外运行 spark-jobs



我有一个现有的spark-job,这个spark-job的功能是连接kafka-server获取数据,然后将数据存储到cassandra tables中,现在这个spark-jobspark-2.1.1-bin-hadoop2.7/bin内部的服务器上运行,但是每当我尝试从其他位置运行此spark-job时,它都没有运行,此spark-job包含一些与JavaRDD相关的代码。有没有机会,我也可以通过在pom或其他东西中添加任何依赖项来从外部运行此spark-job

每当我尝试从其他位置运行此spark-job时,它都不会运行

spark-job是 Spark 应用程序的自定义启动器脚本,可能带有一些额外的命令行选项和包。打开它,查看内容并解决问题。

如果很难弄清楚spark-job做什么,而且附近没有人帮助你,那么可能是时候把它扔掉,用好的老spark-submit代替。

你为什么不首先使用它?!

阅读提交申请中的spark-submit

最新更新