不能同时使用 cuMemcpyHtoDAsync 和 cuMemcpyDtoHAsync

Question

我对以下代码片段有一个相当奇怪的观察。

当我同时执行这两项操作时 - 将内存复制到设备并将结果复制回主机流似乎已同步 - 即它们按顺序执行内核。 一旦我删除副本到主机并将参数复制到设备，流就会并行执行， 一旦我删除了复制参数并继续复制结果，流也会并行执行。

知道为什么吗？ 以及如何解决问题？

for (int j=0; j<n_streams; j++) {
cuMemcpyHtoDAsync(gpu_parameters[j], parameters[j].asPointer(), (parameterCount) * Sizeof.FLOAT, stream[j]);
Pointer kernelParameters1 = Pointer.to(
Pointer.to(new int[]{0}),
Pointer.to(new int[] {10000}),
Pointer.to(gpu_data),
Pointer.to(gpu_results[j]),
Pointer.to(gpu_parameters[j])
);
cuLaunchKernel(function[j],
s_grid, 1, 1,      // Grid dimension
s_block, 1, 1,      // Block dimension
0, stream[j],               // Shared memory size and stream
kernelParameters1, null // Kernel- and extra parameters
);
cuMemcpyDtoHAsync(results[j].asPointer(), gpu_results[j], (results[j].size()) * Sizeof.FLOAT, stream[j]);
}

Answer 1

不知道为什么...但是更改顺序消除了问题 - 并且正在并行执行......

for (int j=0; j<n_streams; j++) {
cuMemcpyHtoDAsync(gpu_parameters[j], parameters[j].asPointer(), (parameterCount) * Sizeof.FLOAT, stream[j]);
}
for (int j=0; j<n_streams; j++) {
Pointer kernelParameters1 = Pointer.to(
Pointer.to(new int[]{0}),
Pointer.to(new int[] {getNPrices()}),
Pointer.to(get_gpu_prices()),
Pointer.to(gpu_results[j]),
Pointer.to(gpu_parameters[j])
//,Pointer.to(new int[]{0})
);
cuLaunchKernel(function[j],
s_grid, 1, 1,      // Grid dimension
s_block, 1, 1,      // Block dimension
0, stream[j],               // Shared memory size and stream
kernelParameters1, null // Kernel- and extra parameters
);
}
for (int j=0; j<n_streams; j++) {
cuMemcpyDtoHAsync(results[j].asPointer(), gpu_results[j], (results[j].size()) * Sizeof.FLOAT, stream[j]);
}