提交火花作业没有加载火花云:2.0.0-S_2_11软件包



我使用以下命令提交火花,

./Spark-Submit-包装Cloudant-Labs:Spark-Cloudant:2.0.0-S_2.11 -Class Spark.Cloudant.Connecter.CloudantConnecter -master local [*]/opt/demo/sparkscripts/scorejob/sparkcloudantconnecter.jar

,但似乎" spark-cloudant"软件包没有加载。可能是因为位于Spark Packages存储库中的工件(https://dl.bintray.com/spark-packages/maven/)

而没有加载。

那么,在命令中需要进行哪些更改才能加载软件包?

此软件包的完整详细信息正在此处显示https://mvnrepository.com/artifact/cloudant-labs/spark-cloudant/2.0.0.0.0-s_2.11

似乎需要在使用Spark-Submit命令加载软件包时添加存储库,

- 存储库URL

所以新命令将是

./Spark-Submit-包装Cloudant-Labs:Spark-Cloudant:2.0.0-S_2.11 - 存储库https://dl.bintray.com/spark-packages/maven/ -class spark.cloudant.connecter.cloudantconnecter-master local [*] /opt/demo/sparkscripts/scorejob/sparkcloudantconnecter.jar

相关内容

  • 没有找到相关文章