python set comprehension for 2.6



我正在尝试对 2.6 进行设置理解,并遇到了以下两种方法。我认为第一种方法会比第二种方法更快,timeit另有建议。为什么第二种方法更快,即使第二种方法有一个额外的列表实例化,然后是一组实例化?

方法一:

In [16]: %timeit set(node[0] for node in pwnodes if node[1].get('pm'))
1000000 loops, best of 3: 568 ns per loop

方法2:

In [17]: %timeit set([node[0] for node in pwnodes if node[1].get('pm')]) 
1000000 loops, best of 3: 469 ns per loop

哪里pwnodes = [('e1', dict(pm=1, wired=1)), ('e2', dict(pm=1, wired=1))].

使用列表推导时,迭代速度更快:

In [23]: from collections import deque
In [24]: %timeit deque((node[0] for node in pwnodes if node[1].get('pm')), maxlen=0)
1000 loops, best of 3: 305 µs per loop
In [25]: %timeit deque([node[0] for node in pwnodes if node[1].get('pm')], maxlen=0)
1000 loops, best of 3: 246 µs per loop

deque用于说明迭代速度;maxlen设置为0deque会丢弃从可迭代对象中获取的所有元素,因此没有内存分配差异来扭曲结果。

这是因为在 Python 2 中,列表推导式不使用单独的命名空间,而生成器表达式使用(它必须使用,这是必要的(。这个额外的命名空间需要在堆栈上建立一个新帧,这很昂贵。生成器表达式的主要优点是内存占用量低,而不是速度。

在Python 3中,列表推导式也有一个单独的命名空间,列表推导和生成器迭代速度相当。你还设置了推导,即使在 Python 2 上,这些推导也是最快的。

我的猜测是因为第二个涉及生成器,而第一个不涉及。如果等效列表适合内存,则生成器通常比等效列表慢。

In [4]: timeit for i in [i for i in range(1000)]: pass
10000 loops, best of 3: 47.2 µs per loop
In [5]: timeit for i in (i for i in range(1000)): pass
10000 loops, best of 3: 57.8 µs per loop

最新更新