星火返回'NoneType'上的映射函数

Question

我用Python编写了以下代码以在Apache Spark上运行:

import sys
from pyspark import SparkContext
def generate_kdmer(seq):
    res = []
    beg2, end2 = k+d, k+d+k
    last = len(seq) - end2 + 1
    for i in range(last):
        res.append([seq[i:i+k], seq[i+beg2:i+end2]])
    return res.sort()
if __name__ == "__main__":
    if len(sys.argv) != 4:
        print("Usage: kdmer <file> <k> <d>, file=sys.stderr")
        exit(-1)
    sc = SparkContext(appName="KDmerGenerator")
    k, d = int(sys.argv[2]), int(sys.argv[3])
    lines = sc.textFile(sys.argv[1])
    kdmer = lines.map(generate_kdmer).reduce(lambda a, b: a + b)
    output = kdmer.collect()
    for i in output:
        print(str(i[0]) + ' | ' + str(i[1]))
    sc.stop()

生成错误:

TypeError: unsupported operand type(s) for +: 'NoneType' and 'NoneType

generate_kdmer函数应该返回一个列表，由映射返回的列表将被追加到一个减少，但我不知道为什么它一直返回'None'。我试图在函数内打印一些东西，但它在控制台上什么也没显示，这个函数真的在执行吗?有没有更好的方法传递一个函数映射到Spark?

Answer 1

问题是res.sort()返回一个NoneType。你想排序，然后返回res

res.sort()
return res

你可以直接把它插入python fiddle，看看我在说什么:

k = 1
d = 1
seq = "This is a string"
res = []
beg2, end2 = k+d, k+d+k
last = len(seq) - end2 + 1
for i in range(last):
  res.append([seq[i:i+k], seq[i+beg2:i+end2]])
print(res.sort())
print(res)