如何在 AppEngine 上限制 appengine-mapreduce

Question

http://code.google.com/p/appengine-mapreduce/提到它可以控制执行速度，但我不知道如何控制。为映射器作业创建一个任务队列并从那里控制速度是有意义的，但我不明白如何指定要使用的队列。

Answer 1

（感谢Chris的指点，但之后花了一点时间才找到确切的参数。

从 http://code.google.com/p/appengine-mapreduce/wiki/UserGuideJava 将其添加到mapreduce.xml配置元素中，以限制每秒处理的实体数：

<property>
    <name>mapreduce.mapper.inputprocessingrate</name>
    <value>4</value>
</property>

Answer 2

我自己不使用Java版本，但是Python版本有一个processing_rate参数，您可以将其传递给映射器规范。

在 Java 源代码中快速搜索会显示一个MAPPER_INPUT_PROCESSING_RATE_KEY配置键，希望它能为您指明正确的方向。

Answer 3

对于使用 python 的用户，您可能需要在 model.py 中搜索此称为"_DEFAULT_PROCESSING_RATE_PER_SEC"的变量，以提高每秒的默认处理速率。这对我有用！