MapReduce批量更新数据存储



我需要使用Python用CSV文件(250000行)大容量更新数据存储。通过对这一领域的研究,我可以看出MapReduce将适合这个问题。

我发现了一些显示类似操作的示例,但似乎找不到如何使用此库对数据存储进行简单批量更新的示例。

你知道这方面有什么例子吗?或者你能给我指明正确的方向吗?

感谢

http://code.google.com/p/appengine-mapreduce/wiki/GettingStartedInPython

mapreduce可以产生mapreduce.operation.db.Put(实体)作为迭代器,应用程序引擎可以非常有效地处理更新。或者,您可以将db.put(实体)放在mapreduce方法中。在我看来,你正在从文件中读取数据并更新所有相关实体,mapreduce可能不是最好的工具。

您还可以使用批量上传器将数据从csv上传到数据存储。

相关内容

  • 没有找到相关文章

最新更新