Understanding PySpark Reduce()

Question

我正在用PySpark学习Spark，我正在用reduce((函数尝试不同的人员来正确理解它，但我做了一些事情，得到了一个对我来说毫无意义的结果。

我用reduce执行的前面的例子是基本的东西，比如：

>>> a = sc.parallelize(['a','b','c','d'])
>>> a.reduce(lambda x,y:x+y)
'abcd'
>>> a = sc.parallelize([1,2,3,4])
>>> a.reduce(lambda x,y:x+y)
10
>>> a = sc.parallelize(['azul','verde','azul','rojo','amarillo'])
>>> aV2 = a.map(lambda x:(x,1))
>>> aRes = aV2.reduceByKey(lambda x,y: x+y)
>>> aRes.collect()
[('rojo', 1), ('azul', 2), ('verde', 1), ('amarillo', 1)]

但我试过这个：

>>> a = sc.parallelize(['a','b','c','d'])
>>> a.reduce(lambda x,y:x+x)
'aaaaaaaa'

我本以为结果是"aaaa"，但没有"aaaaaa">

我在阅读reduce((文档寻找答案，但我想我遗漏了一些东西。

谢谢！

Answer 1

lambda函数中的x不断变化，因此每个步骤中最后一个表达式的x是

a
aa 
aaaa

其给出最后的结果CCD_ 1。表达式中的字符数应加倍。