映射减少中间输出

Question

我提到了map reduce博客，它强调将中间结果写入磁盘。这里我的问题是，为什么映射减少写入中间输出到磁盘不能只使用内存(RAM(？有什么问题需要这种方法吗？答案非常感谢

Answer 1

由于Hadoop MapReduce旨在用于在商品硬件上并行处理数万亿字节的数据集[1]，将中间结果存储在RAM中通常是不可行的，因为大多数商品硬件几乎没有足够的RAM可用于此目的。因此，必须使用磁盘存储来存储中间结果以供进一步处理。