Python 比较列表列表

Question

我有一个列表，其中包含 10**7 个列表，格式如下：

big_list = [[1, 2, 3, 4, 5, 6], [2, 3, 4, 5, 6, 7], [2, 3, 4, 26, 33, 40], [10, 23, 33, 45, 46, 47]]

每个列表包含 6 个唯一的整数。

我需要将每个列表与另一个列表进行比较：

lst = [1, 3, 4, 10, 23, 46]

并返回列表项交集小于 3 的那些。所以新列表将是：

new_list = [[2, 3, 4, 5, 6, 7], [2, 3, 4, 26, 33, 40]]

目前我正在使用设置交叉点，但运行大约需要 30 秒

Answer 1

import numpy as np
biglist = [[1, 2, 3, 4, 5, 6], [2, 3, 4, 5, 6, 7], [2, 3, 4, 26, 33, 40], [10, 23, 33, 45, 46, 47]]
oldlist = [1, 3, 4, 10, 23, 46]
b = np.array(biglist)
b[np.array([(b == x).any(axis=1) for x in oldlist]).sum(axis=0) < 3]

返回

array([[ 2,  3,  4,  5,  6,  7],
       [ 2,  3,  4, 26, 33, 40]])

numpy 数组的创建需要一些时间，但最后一行的速度大约是具有集合交集的列表理解速度的两倍（对于 1e6 列表）。

编辑：以下行甚至比我上面的代码更快，并且需要更少的内存：

b[reduce(np.add, ((b == x).any(axis=1).astype(np.int) for x in oldlist)) < 3]

Answer 2

>>> big_list = [[1, 2, 3, 4, 5, 6], [2, 3, 4, 5, 6, 7], [2, 3, 4, 26, 33, 40], [10, 23, 33, 45, 46, 47]]
>>> normal = set([1, 3, 4, 10, 23, 46])
>>> [x for x in big_list if len(set(x).intersection(normal)) < 3]
[[2, 3, 4, 5, 6, 7], [2, 3, 4, 26, 33, 40]]

Answer 3

我认为"快速"解决方案应该取决于您问题的规格。例如，如果您的参考文献列表与 [1， 3， 4， 10， 23， 46] 一样短，通过对每个列表进行排序，我们可以立即看到所有以大于 10 的 num 开头的列表，例如 [11， x， x， ...] 将有超过 3 个带有参考文献的公共元素。这已经可以节省很多比较。