我的python脚本迭代数据集的时间有问题。数据集大约有4万份文档。这足以导致pymongo游标发出多个内部提取，这些提取是从开发人员那里抽象出来的。我尽可能简化了我的脚本来演示这个问题：
from pymongo import Connection
import time
def main():
starttime = time.time()
cursor = db.survey_answers.find()
counter=0;
lastsecond=-1;
for entry in cursor:
if int(time.time()-starttime)!=lastsecond:
print "loop number:", counter, " seconds:",int(time.time()-starttime);
lastsecond= int(time.time()-starttime)
counter+=1;
print (time.time()-starttime), "seconds for the mongo query to get rows:",counter;
connection = Connection(APPSERVER)#either localhost or hostname depending on test
db = connection.beacon
if __name__ == "__main__":
main()
我的设置如下。我有4个独立的主机，一个运行mongos的APPSERVER，还有3个其他shard主机，每个主机都是主副本集，其他两个的辅助副本集。
我可以从其中一个shard服务器上运行它(连接指向APPSERVER主机名)，得到：
loop number: 0 seconds: 0
loop number: 101 seconds: 2
loop number: 7343 seconds: 5
loop number: 14666 seconds: 8
loop number: 21810 seconds: 10
loop number: 28985 seconds: 13
loop number: 36078 seconds: 15
16.0257680416 seconds for the mongo query to get rows: 41541
所以很明显，这里发生了什么，游标请求的第一个批大小是100，然后每个后续的请求都是价值400万的数据，对我来说似乎刚刚超过7千个文档。每次获取的成本2-3秒
我想我可以通过将我的应用程序移近mongos实例来解决这个问题。我在APPSERVER上运行了上面的代码(连接指向localhost)，希望减少网络使用。。。。但情况更糟！
loop number: 0 seconds: 0
loop number: 101 seconds: 9
loop number: 7343 seconds: 19
loop number: 14666 seconds: 28
loop number: 21810 seconds: 38
loop number: 28985 seconds: 47
loop number: 36078 seconds: 53
53.5974030495 seconds for the mongo query to get rows: 41541
在两次测试中，光标大小完全相同，这很好，但每次提取光标都需要9-10秒
我知道我有四个独立的主机需要通信，所以这不可能是即时的。但我需要对可能有1000万条记录的集合进行迭代。以每7公里2秒的速度，这将需要不到一个小时！我不能吃这个！
顺便说一句，我是python/mongo世界的新手，我习惯了php和mysql，我希望它能在几分之一秒内处理：
$q=mysql_query("select * from big_table");//let's say 10m rows here ....
$c=0;
while($r=mysql_fetch_rows($q))
$c++;
echo $c." rows examined";
有人能解释一下我提出的pymongo(~1小时)和php/mysql(<1秒)方法之间的巨大差异吗？谢谢
我在A.Jesse Jiryu Davis的帮助下找到了这一点。原来我没有安装C扩展。我想在没有碎片的情况下运行另一个测试，这样我就可以排除网络延迟的问题。我得到了一个全新的干净主机，设置了mongo，导入了我的数据，并运行了我的脚本，这花了同样多的时间。所以我知道碎片/副本集与这个问题无关。
在修复之前，我可以打印：
pymongo.has_c(): False
pymongo version 2.3
然后，我按照说明安装了c扩展的依赖项：
yum install gcc python-devel
然后我重新安装了pymongo驱动程序：
git clone git://github.com/mongodb/mongo-python-driver.git pymongo
cd pymongo/
python setup.py install
我重新扫描了我的脚本，现在它打印出来了：
pymongo.has_c(): True
pymongo version 2.3+
与上面的16秒相比，跑步大约需要1.8秒。获取4万条记录并对其进行迭代似乎仍然很长，但这是一个显著的改进。
我现在将在我的prod(sharded，replica set)环境中运行这些更新，希望能看到同样的结果。
**更新**我在我的产品环境中更新了我的pymongo驱动程序，虽然没有那么多改进，但还是有所改进。经过几次测试，大约花了2.5-3.5秒。我认为碎片化是这里的错。迭代超过4万条记录似乎仍然非常缓慢。