dask 中的奇怪行为适用于 lambda 函数循环

Question

我不确定这是dask的错误还是python的一个功能。简单的例子：

data = pd.DataFrame({'tags': [['dog'], ['cat', 'red'], ['cat'], ['cat', 'red'], ['cat', 'red'], ['dog', 'red']]})
print data
tags
0       [dog]
1  [cat, red]
2       [cat]
3  [cat, red]
4  [cat, red]
5  [dog, red]

我想为每个标签创建"热列">

tags = ['cat', 'dog', 'red']

使用 DASK：

data = dd.from_pandas(data, npartitions=4)
for tag in tags:
data[tag] = data.tags.apply(lambda x: tag in x, meta=(tag, bool))

结果是错误的：

print data.compute()
tags    cat    dog    red
0       [dog]  False  False  False
1  [cat, red]   True   True   True
2       [cat]  False  False  False
3  [cat, red]   True   True   True
4  [cat, red]   True   True   True
5  [dog, red]   True   True   True

似乎lambda总是绑定到循环中的最后一个标签(red(。如果我手动展开循环，它可以正常工作。

使用普通熊猫我没有这个问题。

部分解决方案

def is_in(items, value):
return value in items
for tag in tags:
data[tag] = data.tags.apply(is_in, value=tag, meta=(tag, bool))

我不太喜欢它，因为它迫使论点的顺序非常不自然。顺便说一句，我不确定是否理解了原始问题。

Answer 1

答案在这里：(lambda(函数闭包捕获什么？ 这是关于Python的词汇范围。

更好的解决方案：对 lambda 使用默认值

for tag in tags:
data[tag] = data.tags.apply(lambda x, t=tag: t in x, meta=(tag, bool))