mapPartitions在循环中的行为

Question

我想了解mapPartitions函数在以下代码中的行为。它是否在每次迭代中创建单独的分区并将它们分配给节点。或者分区和分区到节点的映射在迭代中保留？

理想情况下，我希望对整个循环保持相同的分区。

for i in range(10):
    x = rdd.mapPartitions(fun).reduce(lambda a,b:a+b)

Answer 1

这取决于情况。如果缓存了rdd，那么分区将被计算一次，并在迭代中保留，除非出现某种故障，并且任务被重新安排在另一个工作线程上。否则，将为每次迭代重新计算它。在这种情况下，答案取决于rdd的谱系。如果不涉及混洗，或者使用确定性分区和排序，那么答案是肯定的。否则，您不太可能在每次迭代中看到相同的内容。

如果您关心性能，那么缓存就足够了。如果您考虑在mapPartitions中执行一些副作用，并且希望在迭代之间保留这些副作用，则不能依赖于此。