hadoop与mongodb插件-读取数据



我知道可以通过hadoop从mongodb读取和写入数据。

我想知道这个适配器在从mongodb集合读取数据时是否使用mongodb的本机驱动程序,所以它使用mongod实例还是这个适配器直接读取数据集合?

另外,当hadoop读取mongodb的数据以在map reduce中进行处理时,hadoop的这个map reduced不会锁定mongodb?

换句话说,当hadoop读取mongodb的数据时,hadoop会将这些数据保存为hadoop使用,并且hadoop不会干扰mongodb数据,因为当hadoop执行mapreduce时,它可以通过mongodb检索数据,但会将内部数据保存在hadoop中进行处理?

使用mongo-Hadoop插件不会在Hadoop中缓存或保存任何数据。

相反,每个区块都作为单独的输入分割读取到Hadoop中,以并行化Hadoop MapReduce作业。

mongodb中唯一发生的锁定是从Mongo读取数据时的轻读锁定。

相关内容

  • 没有找到相关文章

最新更新