我想每隔几分钟从CSV文件中读取一些行,是否有一种方法可以跟踪上次插入的行,并从该特定行开始下一次插入?在SQL Server我知道这是可能的使用批量插入命令,但我不知道我怎么能做到这一点在postgresql。我尝试使用COPY命令和timescaledb-parallel-copy命令,但在后者中,我只能限制我想要插入的行数。我试图这样做是为了比较SQL Server和时间序列数据库之间批量插入的性能
timescaledb-parallel-copy --db-name test --table 'test_table' --file weather_big_conditions.csv --connection "host=localhost port=5432 user=postgres password=postgres sslmode=disable" -limit 2000000
阅读这里的代码,我认为可以将--skip-head=true
和--header-line-count=N
结合起来,其中N是一个数字,可以作为offset
跳过您想要从文件中的行。您可以看到代码已经为它准备好了。
我还没有测试过,但是你可以试一试。