MeteorJS (MongoDB) with Spark



我正在为我的一个项目使用MeteorJS框架。在使用MeteorJS之前,我曾经构建过一个基本的webApp,当它只是客户端,服务器和MongoDB时,它工作得很好。

在这个项目中,我希望monogDB(它与MeteorJS一起构建)填充来自Apache Spark的数据。

基本上,Apache Spark将处理一些数据并将其注入mongoDB中。这可行吗?请您指出我正确的教程这有多复杂?提前感谢您的帮助

是的,这是很有可能的,而且很容易。也就是说,它不会通过MeteorJS,它将是Apache Spark工作的一部分,并将在那里进行配置。

使用MongoDB Spark Connector从DataFrame或RDD获取数据并将其保存到MongoDB很容易。

首先,您将配置数据的写入方式和位置:

// Configure where to save the data
val writeConfig = WriteConfig(Map("uri" -> "mongodb://localhost/databaseName.collectionName"))

使用RDD,您应该通过映射函数将它们转换为文档,例如:

val documentRDD = rdd.map(data => Document) // map the RDD into documents
MongoSpark.save(documentRDD, writeConfig)

如果您使用的是 DataFrames,则容易得多,因为您只需提供 DataFrameWriter 和 writeConfig:

MongoSpark.save(dataFrame.write, writeConfig)

文档中有更多信息,或者 github 存储库中有示例。