检查哪些id存在postgrestable

Question

检查postgreSQL表中存在哪些id的快速方法是什么

我写了以下函数，但当len(x)大于500000 时，它会变得非常慢

import psycopg2
conn = psycopg2.connect(...)
cursor = conn.cursor(cursor_factory=psycopg2.extras.DictCursor)
def check_exist(lst):
exist = []
not_exist = []
for i in lst:
cursor.execute(f"SELECT * FROM table1 where id={i}")
row = cursor.fetchone()
if row:
exist.append(i)
else:
not_exist.append(i)
return exist, not_exist
x, y = check_exist(['2','4','3000','50000','10000000'])

Answer 1

您可以使用ANY并让Postgres完成大部分工作：

import psycopg2, time
# database is in a datacenter just using a tunnel!
conn = psycopg2.connect("dbname=mf port=5959 host=localhost user=mf_usr")
cur = conn.cursor()
ids = [x for x in range(0, 750000)]
sql = """
SELECT array_agg(id) from __users where id = ANY(%s);
"""
# array_agg: Postgres returns an array of ids!
_start = time.time()
cur.execute(sql, (ids, ))
existingIds = cur.fetchone()[0]
missingIds = set(ids) - set(existingIds)
print(len(existingIds))
print(len(missingIds))
print('Took: %.6f seconds' % (time.time() - _start))

输出：

284365
465635
Took: 5.564851 seconds

注意：确保ID列上有索引

Answer 2

您可以使用IN子句。用你的ID创建一个列表。迭代应用程序中的列表，以验证哪些ID没有出现在已找到的记录列表中。

从表1中选择id IN([您的列表](

一点：从表中查询较少的字段可以提高查询效率。