Python:提高性能-在单独的线程中写入数据库

Question

我正在运行一个python应用程序，由于各种原因，我不得不在世界某个地方的服务器上托管我的程序，然后在另一个地方拥有我的数据库。

我通过一个简单的脚本进行了测试，从我在邻国的家到数据库服务器，从数据库中写入和检索一行的时间约为0.035秒(这是一个不错的imo速度(，而当我在世界另一端的python服务器执行相同操作时，这一时间为0,16秒。这是一个问题，因为我正在努力让我的python应用程序尽可能快，所以我想知道是否有一种聪明的方法可以做到这一点？

当我同步运行我的代码时，我的程序每次都在等待写入数据库，大约是每秒3次，所以时间加起来。是否可以在单独的线程或其他线程中运行与数据库的连接，这样在尝试向数据库发送数据时就不会停止整个程序？或者这可以使用asyncio来完成(我没有异步代码的经验(？

我真的很难找到解决这个问题的好方法。提前，非常感谢！

Answer 1

是的，您可以创建一个在后台进行写入的线程。在您的情况下，有一个队列似乎是合理的，主线程在其中放置要写的东西，数据库线程获取并写入它们。队列可以有一个最大深度，这样当有太多东西挂起时，主线程就会等待。你也可以做一些不同的事情，比如放弃发生得太快的事情。或者，使用带有同步的数据库并编写本地副本。您还可以通过一次提交多个来加快写入速度。

这是一个工人线程的草图

import threading
import queue
class SqlWriterThread(threading.Thread):
def __init__(self, db_connect_info, maxsize=8):
super().__init__()
self.db_connect_info = db_connect_info
self.q = queue.Queue(maxsize)
# TODO: Can expose q.put directly if you don't need to
# intercept the call
# self.put = q.put
self.start()
def put(self, statement):
print(f"DEBUG: Puttingn{statement}")
self.q.put(statement)
def run(self):
db_conn = None
while True:
# get all the statements you can, waiting on first
statements = [self.q.get()]
try:
while True:
statements.append(self.q.get(), block=False)
except queue.Empty:
pass
try:
# early exit before connecting if channel is closed.
if statements[0] is None:
return
if not db_conn:
db_conn = do_my_sql_connect()
try:
print("Debug: Executingn", "--------n".join(f"{id(s)} {s}" for s in statements))
# todo: need to detect closed connection, then reconnect and resart loop
cursor = db_conn.cursor()
for statement in statements:
if statement is None:
return
cursor.execute(*statement)
finally:
cursor.commit()       
finally:
for _ in statements:
self.q.task_done()
sql_writer = SqlWriterThread(('user', 'host', 'credentials'))
sql_writer.put(('execute some stuff',))