应用程序引擎mapreduce的工作让我超过了配额



对于我的第一个mapreduce项目,使用Python版本的Google App Engine,我实现了一个简单的计数器:

def process(entity):
    yield op.counters.Increment("counter1")

跑了一半,我超过了限额。当我的配额明天被重置时,它会从停止的地方恢复,并最终产生最终结果吗?还是我需要足够的配额来执行整个任务,而不会被这种方式打断?

这只是练习。对于我的"真实"mapreduce工作,我将修改数据库表中的每个条目。有没有一些好的方法来保存我的表数据,以防出现问题?

提前谢谢。

Mapreduce计数器存储在数据存储中,因此即使您长时间暂停Mapreduce,它们也会持续存在。

同样,在mapreduce中所做的修改是以规则的间隔分批执行的;您所做的更改或多或少会立即应用。

相关内容

  • 没有找到相关文章

最新更新