首先,我完全意识到Stack Overflow本身可能不是一个理想的子论坛,但我问了我的教授,他告诉我去问Bing AI, Bing AI告诉我在这里问这个问题,所以如果有其他特定的子论坛会更好,请在评论或回答中告诉我。
我是一个研究生团队的成员,在乔治梅森大学的数据分析工程硕士项目中从事顶点项目,我们被要求使用为我们提供的团队亚马逊网络服务帐户,当使用AWS的RDS服务设置数据库实例时,我经历了极慢的执行速度。当我说极端时,我指的是表数据导入向导导入/加载639 KB csv文件所需的时间!
我已经写了两个SQL脚本,我们需要使用本地版本的MySQL服务器和工作台在我的笔记本电脑上测试一切工作,现在我所需要的是在我的笔记本电脑上的MySQL工作台应用程序与一个RDS数据库实例之间建立一个连接,以合理的速度执行。我创建的第一个实例是在MySQL社区引擎Size/Class db.t3上运行的可公开访问的单个RDS数据库实例。微(最初)。在将它连接到Workbench之后,我发现使用表数据导入向导导入/加载我们的3个源数据集所涉及的延迟:Airports.csv, Airport_Schedules.csv和Runway.csv(所有这三个以及两个MySQL脚本文件都可以在我们团队的GitHub Repository中找到这个项目)非常高。因此,我通过从db.t3升级它的类来提高它的处理能力。micro(只有1gb内存)到db.t3。有4gb内存的介质,但这并没有改善运行时间。当我尝试在GitHub上使用这个连接时,我还将所有的日志上传到一个名为"aws-mysql-rds-db-error-running"的Zip文件中。日志"。
从那里开始,我继续进行类似于我在第一次尝试解决方案时通过增量尝试不同可能的解决方案来增加RAM,但一次只尝试每个解决方案,这是非常重要的,所以我绝对确保在尝试另一个之前只测试每个新更改本身。我的下一个更改是创建一个新的RDS db实例,但这一次,我将它创建为一个Multi-AZ db集群,而不是一个单独的db实例(但仍然只有db.t3的大小)。介质,即为创建的三个实例中的每个实例提供4 GB RAM)。不幸的是,一旦我将它连接到MySQL Workbench,它就和其他db实例一样慢,所以从那里,我将集群中所有3个实例的大小增加到db.m5d。xlarge (16gb RAM),但是大量延迟仍然存在。
在这一点上,我启动了我的备份笔记本电脑,安装了MySQL服务器,工作台,以及开发者安装选项附带的其他东西,然后在笔记本电脑上用我的新的本地MySQL工作台应用程序建立了到这两个RDS MySQL数据库实例的连接,在笔记本电脑上执行的速度仍然很慢!!我在这里没有想法,如果你自己不知道答案,请提供任何建议,至于问谁,我已经问过聊天GPT和bing聊天AI升级聊天GPT,但它的建议都不起作用。我应该尝试在RDS上创建一个Aurora MySQL数据库实例,而不是尝试在它和我的本地MySQL工作台应用程序之间建立连接吗?
是的,MySQL Workbench在导入CSV数据方面非常糟糕。这是多年来的一个痛处。MySQL (Oracle Corp)已经记录了错误,但没有任何变化。
忘记使用MySQL Workbench进行批量数据导入。这行不通。我不使用MySQL Workbench,我也不知道有任何专业的MySQL开发人员或dba使用它。
不仅比它应该的慢了几个数量级,而且用户报告它无法导入输入CSV文件中的所有行。实际上,MySQL工作台没有可行的导入功能。
相反,您可以使用命令行工具mysqlimport或等效的SQL语句LOAD DATA LOCAL INFILE。你可能也会喜欢我的演讲Load Data Fast!MySQL .