rdd.collect()的区别.映射到rdd.collectAsMap()

Question

当我在RDD上使用collectAsMap而不是RDD .collect()时，是否有任何性能影响?toMap吗?

我有一个键值rdd，我想转换为HashMap据我所知，collect()在大型数据集上效率不高，因为它运行在驱动程序上，我可以使用collectAsMap，而不是有任何性能影响吗?

原始:

val QuoteHashMap=QuoteRDD.collect().toMap 
val QuoteRDDData=QuoteHashMap.values.toSeq 
val QuoteRDDSet=sc.parallelize(QuoteRDDData.map(x => x.toString.replace("(","").replace(")",""))) 
QuoteRDDSet.saveAsTextFile(Quotepath) 

改变:

val QuoteHashMap=QuoteRDD.collectAsMap() 
val QuoteRDDData=QuoteHashMap.values.toSeq 
val QuoteRDDSet=sc.parallelize(QuoteRDDData.map(x => x.toString.replace("(","").replace(")",""))) 
QuoteRDDSet.saveAsTextFile(Quotepath)

Answer 1

collectAsMap的实现如下

def collectAsMap(): Map[K, V] = self.withScope {
    val data = self.collect()
    val map = new mutable.HashMap[K, V]
    map.sizeHint(data.length)
    data.foreach { pair => map.put(pair._1, pair._2) }
    map
  }

因此，collect和collectAsMap之间没有性能差异，因为collectAsMap在底层也调用collect。

Answer 2

无差异。尽量避免使用collect()，因为它破坏了并行的概念，并收集驱动程序上的数据。