对于我的第一个mapreduce项目,使用Python版本的Google App Engine,我实现了一个简单的计数器:
def process(entity):
yield op.counters.Increment("counter1")
跑了一半,我超过了限额。当我的配额明天被重置时,它会从停止的地方恢复,并最终产生最终结果吗?还是我需要足够的配额来执行整个任务,而不会被这种方式打断?
这只是练习。对于我的"真实"mapreduce工作,我将修改数据库表中的每个条目。有没有一些好的方法来保存我的表数据,以防出现问题?
提前谢谢。
Mapreduce计数器存储在数据存储中,因此即使您长时间暂停Mapreduce,它们也会持续存在。
同样,在mapreduce中所做的修改是以规则的间隔分批执行的;您所做的更改或多或少会立即应用。