我使用以下命令提交火花,
./Spark-Submit-包装Cloudant-Labs:Spark-Cloudant:2.0.0-S_2.11 -Class Spark.Cloudant.Connecter.CloudantConnecter -master local [*]/opt/demo/sparkscripts/scorejob/sparkcloudantconnecter.jar
,但似乎" spark-cloudant"软件包没有加载。可能是因为位于Spark Packages存储库中的工件(https://dl.bintray.com/spark-packages/maven/)
而没有加载。那么,在命令中需要进行哪些更改才能加载软件包?
此软件包的完整详细信息正在此处显示https://mvnrepository.com/artifact/cloudant-labs/spark-cloudant/2.0.0.0.0-s_2.11
似乎需要在使用Spark-Submit命令加载软件包时添加存储库,
- 存储库URL
所以新命令将是
./Spark-Submit-包装Cloudant-Labs:Spark-Cloudant:2.0.0-S_2.11 - 存储库https://dl.bintray.com/spark-packages/maven/ -class spark.cloudant.connecter.cloudantconnecter-master local [*] /opt/demo/sparkscripts/scorejob/sparkcloudantconnecter.jar