Perl许多插入语句到mysql数据库

Question

我目前的perl代码看起来像这样:

@valid = grep { defined($column_mapping{ $headers[$_] }) } 0 .. $#headers;
...
my $sql = sprintf 'INSERT INTO tablename ( %s ) VALUES ( %s )',
  join( ',', map { $column_mapping{$_} } @headers[@valid] ),
  join( ',', ('?') x scalar @valid);
my $sth = $dbh->prepare($sql);
...
my @row = split /,/, <INPUT>; 
$sth->execute( @row[@valid] );

(取自暴徒对上一个问题的回答)

这基本上是从csv数据动态构建sql插入语句，并且只允许从我的列映射中选择具有适当标题的csv数据。

我一直在寻找如何在一次做多行数据的插入语句的例子。

我的perl脚本需要运行大约几亿条插入语句，每次执行一条似乎很慢，特别是因为我运行它的服务器只有6gb内存和较慢的互联网连接。

是否有一种方法，我可以上传超过1行在一个时间的数据?一个insert语句一次上传50行，还是100行?

Answer 1

my $sql_values = join( ' ', ('(?, ?, ?)') x scalar(@array) );

就像之前说的，你可以把它弄平

Answer 2

您可以使用与常规SQL相同的语法一次插入多行，但是您需要使用Perl正确地构建insert语句。Perl的slice()可以帮助您:

假设您有7行数据，并希望将它们插入到3行的块中。"常规"SQL应该是这样的:

insert into T (col1, col2) values ( 1, 2), ( 3, 4), ( 5, 6);
insert into T (col1, col2) values ( 7, 8), ( 9,10), (11,12);
insert into T (col1, col2) values (13,14);

假设你的perl结构是这样的:

my $values = [ [1,2], [3,4], ..., [13,14] ];

如果不是，把它做成这个形状。现在:

use constant CHUNKSIZE => 3;
my $stmt = sprintf( 'insert into T (col1, col2) values %s', 
                    join(',', '(?,?)' x CHUNKSIZE) );
# $stmt is now 'insert into T (col1, col2) values (?,?),(?,?),(?,?)'
my $sth = $dbh->prepare($stmt);
while( my @chunk = splice( @{$values}, 0, CHUNKSIZE ) ) {
    # @chunk has 3 elements (rows), or less for the last chunk
    if (scalar @chunk == CHUNKSIZE) {
        $sth->execute( @chunk ); # inserts 3 rows at once
    } else {
        # build and prepare a new statement for the remaining rows.
        # in our sample there is only 1 remaining row.
        $stmt = sprintf( 'insert into T (col1, col2) values %s',
                         join(',', '(?,?)' x scalar @chunk) );
        $sth = $dbh->prepare($stmt);
        $sth->execute( @chunk ); # inserts the last row
    }
}