我需要使用Python用CSV文件(250000行)大容量更新数据存储。通过对这一领域的研究,我可以看出MapReduce将适合这个问题。
我发现了一些显示类似操作的示例,但似乎找不到如何使用此库对数据存储进行简单批量更新的示例。
你知道这方面有什么例子吗?或者你能给我指明正确的方向吗?
感谢
http://code.google.com/p/appengine-mapreduce/wiki/GettingStartedInPython
mapreduce可以产生mapreduce.operation.db.Put(实体)作为迭代器,应用程序引擎可以非常有效地处理更新。或者,您可以将db.put(实体)放在mapreduce方法中。在我看来,你正在从文件中读取数据并更新所有相关实体,mapreduce可能不是最好的工具。
您还可以使用批量上传器将数据从csv上传到数据存储。