parameters for mapreduce

Question

我正在使用appengine的Java mapreduce模块我收到以下信息消息

超出映射器配额。中止请求，直到补充配额。如果您希望映射器作业更快地完成，请考虑增加 mapreduce.mapper.inputprocessingrate（默认值为 1000）。

任务参数。
队列名称 = 默认
速率 = 1/s
存储桶大小 = 1

我有大约 2000 个 KIND 实体，我只是在 map（） 调用中进行日志记录

需要提供哪些mapreduce/task参数来摆脱该信息消息。

-阿斯瓦斯

Answer 1

我相信

这是框架本身实现的mapreduce中的特殊配额。它旨在限制它可以消耗资源的速度，以便MapReduce不会太快地运行到可用的应用程序引擎配额。看起来它表示每秒 map（） 调用的最大总体速率。

尝试在地图作业的配置中增加 mapreduce.mapper.inputprocessingrate 属性。或者，只是为了测试，您可以更改默认值，在 mapreduce/AppEngineJobContext.java 中定义：

public static final int DEFAULT_MAP_INPUT_PROCESSING_RATE = 1000;