如何在Spark 2.1中启用钨排序洗牌?

Question

在以前的版本中，有一个名为spark.shuffle.manage的配置，用于确定Spark中随机算法的类型。从 Spark 2.0 开始，此配置将被删除。默认的随机算法是基于排序的。据我了解，只有在满足所有要求的情况下，才会启用钨洗牌。如何知道当前作业使用的是原始的基于排序的随机排序还是钨排序？

谢谢。

Answer 1

SortShuffleManager是 Apache Spark 中唯一的 ShuffleManager。

换句话说，除了 SortShuffleManager，你不可能使用任何其他 ShuffleManager(除非你使用spark.shuffle.manager属性启用了一个(。