在带有presto驱动程序的sql workbench/j上使用wbimport



所以我正在使用工作台将 160k 行文本文件导入表格代码是:

Wbimport
-usepgcopy
-type=text
-endrow=164841
-file=‘book1.csv’
-table=it.table1
-delimiter=,
-multiline=true

所以我用我的 3k 行文件的 160 行版本尝试过这个,它在几秒钟内完成。这似乎只能在自动提交模式下完成,当我尝试在完整的 160k 行文件上运行它时,需要 200 多个小时才能完成任何原因或替代方案。

我正在使用工作台构建 125 和 presto jdbc-0.216

谢谢

很可能原因是整个事务变得很大,这会给 wbimport 和 jdbc 连接带来太大的负载。如果您将其分解为分离导入,例如每次导入 1000 条记录,它可能会更快地工作。

如果先将文件切成多个文件,然后一次导入一个文件,则还可以避免重复读取大文件以找到正确的记录。