python mongodb限制批量尺寸时间



我正在尝试刮擦一个巨大的(5GB)mongo数据库,因此我限制了批处理大小以使其易于管理。但是,我仍然会遇到超时错误:/

我的知识并不是最好的知识,因此,如果我做一些完全愚蠢的事情,请告诉我!我已经搜索了文档和其他问题,并且没有任何答案有所帮助。

这是我想做的:

from pymongo import MongoClient
collection = MongoClient(host="mongodb://xxx@xxx")
cursor = collection.all_companies.companies
batch = cursor.find().batch_size(1).limit(1) # I tried w/ other numbers too
for item in batch:
    print item

这就是我得到的:

pymongo.errors.serverselectionTimeOuterror:xxx:xxx:计时

获得了一个查询的结果,我们使用find()方法。find()返回光标实例,该实例允许我们在所有匹配文档上迭代。

关于find()

关于光标

connection = MongoClient(host="mongodb://xxx@xxx")
collection = connection.all_companies.companies
for item in collection.find():
    print item

相关内容

  • 没有找到相关文章

最新更新