通过与Python多处理的指数增加

Question

假设我有以下代码：

items = []
for index, element in elements:
     if index is 7:
         continue
     else:
         items.append(element)

我正在使用Selenium在代码中进行网络刮擦，因此我想通过使用多处理来更快。

这样就是这样：

items = pool.map(iterate_over_elements, elements)
def iterate_over_elements(element):
     if index is 7:
        return None
     else:
        return element

如何将索引作为每个调用中的参数发送给iterate_over_elements((？

Answer 1

要添加索引，您需要使用 enumerate：

>>> list(enumerate(['a','b','c']))
[(0, 'a'), (1, 'b'), (2, 'c')]

pool.map(fn, enumerate(elements))将用(index, element)的元素调用fn。要接受，您必须更改iterate_over_elements功能：

def iterate_over_elements(index_and_element):
    index, element = index_and_element
    ...
pool.map(iterate_over_elements, enumerate(elements))

或，如果您有Python> = 3.3，则可以使用Pool.starmap并让iterate_over_elements接受两个参数：

def iterate_over_elements(index, element):
    ...
pool.starmap(iterate_over_elements, enumerate(elements))