利用sqlalchemy利用多线程/多处理将数据插入数据库

Question

我有一系列平面文件需要插入数据库，目前我有一个循环python脚本，它将逐个文件读取并执行。这是非常缓慢的，因为我有大约5000k以上的文件和大约1B的记录。如何利用多线程或多处理来执行以下操作？

import os
import pandas as pd
import personal_functions as fns
# establish parameters
table_name = 'sql_table_name'
contents = os.listdir(dir_of_files)
contents.sort()
# loop through each file and insert into db
for file in contents:
temp = pd.read_csv(dir_of_files + file)
fns.special_insert_function(temp, table_name)

Answer 1

根据文件的格式，使用LOAD DATA命令从磁盘获取文件可能比使用INSERT语句更快：https://docs.singlestore.com/managed-service/en/load-data.html