如何使用mongo-hadoop连接器从经过身份验证的mongodb读取Spark应用程序



我需要从Spark应用程序中读取带有密码的mongodb。我将newAPIHadoopRDD()与mongo-hoop连接器一起使用。它在"setMaster('local')"中运行良好,但当我将spark应用程序设置为在"yarn cluster"上运行时,应用程序挂起,没有任何错误消息。

我使用的是mongohadoop内核1.5.2。有人遇到过同样的问题吗?非常感谢!

mongodbConfig.set("mongo.auth.uri","mongodb://username:password@192.168.1.1:27017/testdb"),您也可以参考com.mongodb.hadoop.util.MongoConfigUtil

最新更新