我有一个map reduce作业要在Amazon EMR上运行。我希望最多有400个映射器和减速器,并且我希望使用Medium或Large实例。我如何估计我需要的实例数量。
此外,如果一项工作在2分钟内结束,比如说,我运行另一项需要4分钟的工作,我会被收费2小时还是1小时?
我知道,如果您使用CLI工具创建作业流并添加步骤,那么您可以在同一作业流上相继运行这两个步骤,它们将在同一小时内计数。
我相信,如果你使用GUI,那么你就不能重复使用作业流,因此你可能会为每项作业收取一小时的费用。不过我还没有试过,所以可能是错的。
查看这篇文章,这是我获得信息的地方:
https://cwiki.apache.org/confluence/display/MAHOUT/Mahout+on+Elastic+MapReduce