当批大小较高时,JDBC 应用程序挂起以进行批量插入



我正在尝试使用简单的JDBC应用程序从linux服务器(例如服务器X(进行批量插入。

当我尝试批量大小为 5 的应用程序时,它工作正常。

但是当我尝试批量为 500 时,它被挂起了。我没有收到任何错误或异常。当我查询数据库时,我可以看到插入了 500 行,但 java 应用程序只是挂起。Java 应用程序未退出。

应用程序仅在以下方法调用处挂起

try{
// register driver
// establish connection
// create statement
// add insert commands from inputFile to the batch
statemnt.executeBatch();  //---------------application hangs here
}
//catch block followed by finally block to close resources

在不同的linux服务器中尝试了相同的应用程序,我能够成功执行批量为500的应用程序,应用程序运行良好并正常退出。

应用程序仅在服务器 X 中挂起,并且仅在批大小较高时挂起。

然后我检查了服务器 X 中挂起的进程的跟踪。我发现它在以下系统调用中循环

$ strace -f -p [hung-java-process-id]

[pid 104273] futex(0x7ffe78013728, FUTEX_WAKE_PRIVATE, 1) = 0
[pid 104273] clock_gettime(CLOCK_MONOTONIC, {9635863, 882169546}) = 0
[pid 104273] clock_gettime(CLOCK_MONOTONIC, {9635863, 882258933}) = 0
[pid 104273] clock_gettime(CLOCK_REALTIME, {1417787058, 859159155}) = 0
[pid 104273] futex(0x7ffe78013754, FUTEX_WAIT_PRIVATE, 1, {0, 49972845}) = -1 ETIMEDOUT (Connection timed out)
[pid 104273] futex(0x7ffe78013728, FUTEX_WAKE_PRIVATE, 1) = 0
[pid 104273] clock_gettime(CLOCK_MONOTONIC, {9635863, 932601035}) = 0
[pid 104273] clock_gettime(CLOCK_MONOTONIC, {9635863, 932677888}) = 0
[pid 104273] clock_gettime(CLOCK_REALTIME, {1417787058, 909571241}) = 0
[pid 104273] futex(0x7ffe78013754, FUTEX_WAIT_PRIVATE, 1, {0, 49977759}) = -1 ETIMEDOUT (Connection timed out)
[pid 104273] futex(0x7ffe78013728, FUTEX_WAKE_PRIVATE, 1) = 0

我检查了挂起的java进程打开的打开文件列表,并得到了以下输出,显示数据库连接仍然打开。

$ lsof -p [hung-java-process-id] | grep TCP

COMMAND   PID       USER   FD   TYPE     DEVICE SIZE/OFF NODE NAME
java    104273 userid   14u  IPv6 1674188639      0t0  TCP serverX:55744->dbServer:blackjack (ESTABLISHED)

我还尝试将连接自动提交属性设置为 false,然后在 executeBatch 方法之后调用提交。但我仍然面临同样的问题。

我还尝试将批次拆分为较小的批量大小。该应用程序在批大小为 29 时工作正常,但是当我将批大小增加到 30 时,它只是挂起而没有任何错误或异常。

我找不到问题的原因。如果 strace 显示问题的原因,那么请告诉我,它到底是什么意思以及如何解决它?任何帮助都会非常有用。提前谢谢。

请注意,我使用的是Java 7

我想这个问题可能是由linux机器(服务器X(中的某些配置引起的,因为同一应用程序在其他机器上可以正常工作,以大批量大小。与机器配置相关的任何见解对我来说都非常有用。

它是

哪个数据库?我看到一些提到postgresql驱动程序的问题,我不知道其他提供商是否会发生类似的问题。

参见 GitHub 和 PostGreSql

最新更新