我有一个现有的spark-job
,这个spark-job
的功能是连接kafka-server
获取数据,然后将数据存储到cassandra tables
中,现在这个spark-job
在spark-2.1.1-bin-hadoop2.7/bin
内部的服务器上运行,但是每当我尝试从其他位置运行此spark-job
时,它都没有运行,此spark-job
包含一些与JavaRDD相关的代码。有没有机会,我也可以通过在pom或其他东西中添加任何依赖项来从外部运行此spark-job
?
每当我尝试从其他位置运行此
spark-job
时,它都不会运行
spark-job
是 Spark 应用程序的自定义启动器脚本,可能带有一些额外的命令行选项和包。打开它,查看内容并解决问题。
如果很难弄清楚spark-job
做什么,而且附近没有人帮助你,那么可能是时候把它扔掉,用好的老spark-submit
代替。
你为什么不首先使用它?!
阅读提交申请中的spark-submit
。