从.csv通过 PyMySql 将大量数据行插入 cloudsql 表

Question

我是CloudSQL的新手，我正在尝试插入40 +不同列和超过150万行的记录。但是我无法在Google CloudSQL中执行此操作。我已经采取了下面列出的许多措施来解决此问题，但我得到的主要错误是：

ERROR:
textPayload:  "2019-04-12T06:10:47.348295Z 8554 [Note] Aborted connection 8554 to db: 'xxxxx_xxx' user: 'root' host: 'x.x.x.x' (Got an error reading communication packets)"  

总结：

1. 我正在使用 Python，PyMySql将 150 万行数据插入到 35 列的表中
2. 实例、数据库、表已经在 CloudSQL 中创建。
3. 系统配置：vCPU - 4、内存 - 15 GB、固态硬盘存储 - 10 GB
4. 我可以在本地系统中完全正常地加载这些数据。
5. 在 Google CloudSQl 中，部署时间非常长，部署成功。
6. 但是当我检查我的桌子时，它是空的。
7. 实例中的MySql错误日志显示了上述内容。

我已经尝试了以下操作：

使用

• API URL/.txt/.json文件进行上传，而不是现在使用.csv.

• 认为这是系统问题，我将系统从8GB内存升级到15 GB内存。

• 考虑到SQL默认配置导致了限制，我添加了以下内容：

  • sql_mode ： MAXDB，NO_AUTO_CREATE_USER

  • max_allowed_packet：1073741824

  • net_read_timeout：4294967295

  • wait_timeout： 31536000

插入

• 的行数较少，可插入的最大行数 = 100

def adddata():
try:
conn = pymysql.connect(unix_socket='/cloudsql/' + 'karto-235001:asia-east1:karto', user='xxx', password='xxx', db='xxx')
cur = conn.cursor()
insert_ = "INSERT INTO data_table(a, b, c) VALUES (%s, %s, %s)"
with open('info.csv', newline='') as myFile:
reader = csv.reader(myFile)
for item in reader:
cur.execute(insert_, (item[3], item[4], item[5]))
conn.commit()
cur.close()
finally:
conn.close()

我已经在线检查并实施了CloudSQL和其他堆栈溢出用户推荐的解决方案。如果有人可以确定我做错了什么，或者我的代码或配置是否存在问题？谢谢。

Answer 1

我看到您想使用 Python 上传 CSV 文件中包含的信息。您是否尝试过直接导入数据库？您可以按照链接[1]中的步骤操作。

与此同时，我会尝试复制你的案例。 您可能还需要检查您的安装和配置是否正确。

验证您的云 SQL 实例和连接 [2] 以及您的 Python 安装[3]。

[1]https://cloud.google.com/sql/docs/mysql/import-export/importing#csv
[2]https://cloud.google.com/sql/docs/mysql/connect-compute-engine
[3]https://cloud.google.com/python/setup