优化Spark数值函数(python)

Question

Spark新手，希望了解优化以下代码的最佳方法。我有一个5GB文件，有50列，我从中提取了大约30列（在下面的可变位置）。然后在上面运行各种统计数据。

def numStats(position):
    results = []
    for lines in position:
        stats = [0,0,0,0,0,0,0,0]
        myData = dataSplit.map(lambda arr: (arr[lines]))
        if myData.take(1) != [u'']:
            myData3 = myData.map(lambda line: line.split(',')).map(lambda fields: ("Column", float(fields[0]))).map(lambda (column, value) : (value)).persist(StorageLevel.MEMORY_AND_DISK)
            stats[0] = myData3.sum()
            results.append(stats[0])
            stats[1] = myData3.min()
            results.append(stats[1])
            stats[2] = myData3.max()
            results.append(stats[2])
            stats[3] = myData3.mean()
            results.append(stats[3])
            stats[4] = myData3.stdev()
            results.append(stats[4])
            stats[5] = myData3.variance()
            results.append(stats[5])
            stats[6] = myData3.sampleStdev()
            results.append(stats[6])
            stats[7] = myData3.sampleVariance()
            results.append(stats[7])

Answer 1

1. 您可以使用aggregate函数在一次数据传递中计算出许多统计信息(http://spark.apache.org/docs/1.2.0/api/python/pyspark.html#pyspark.RDD)。下面是一个使用aggregateByKey函数的类似方法的示例：如何在spark上优化此代码
2. 每次将RDD持久化一列时。为什么不缓存myData RDD？每次构造myData3 RDD时，它都会具体化，这意味着30次

最后，使用aggregate函数，您将能够在一次通过数据的过程中计算所有统计信息