通过MPI发送和接收二维阵列

Question

我想解决的问题如下:

我的c++串行代码在一个大的2D矩阵上进行计算。为了优化这个过程，我希望分割这个大的2D矩阵，并使用MPI在4个节点上运行。节点之间发生的唯一通信是在每个时间步结束时共享边缘值。每个节点与相邻节点共享边缘数组数据A[i][j]。

基于对MPI的阅读，我有以下实现方案:

if (myrank == 0)
{
 for (i= 0 to x)
 for (y= 0 to y)
 {
  C++ CODE IMPLEMENTATION 
  .... 
  MPI_SEND(A[x][0], A[x][1], A[x][2], Destination= 1.....)
  MPI_RECEIVE(B[0][0], B[0][1]......Sender = 1.....)
  MPI_BARRIER
}
if (myrank == 1)
{
for (i = x+1 to xx)
for (y = 0 to y)
{
 C++ CODE IMPLEMENTATION
 ....
 MPI_SEND(B[x][0], B[x][1], B[x][2], Destination= 0.....)
 MPI_RECEIVE(A[0][0], A[0][1]......Sender = 1.....)
 MPI BARRIER
}

我想知道我的方法是否正确，并且也将感谢其他MPI功能的任何指导。

谢谢,Ashwin .

Answer 1

再强调一下Joel的观点:

如果你分配你的数组，使它们是连续的(C的"多维数组"不会自动给你:)，这就容易多了

int **alloc_2d_int(int rows, int cols) {
    int *data = (int *)malloc(rows*cols*sizeof(int));
    int **array= (int **)malloc(rows*sizeof(int*));
    for (int i=0; i<rows; i++)
        array[i] = &(data[cols*i]);
    return array;
}
/*...*/
int **A;
/*...*/
A = alloc_2d_init(N,M);

然后，您可以使用

对整个NxM数组进行发送和接收

MPI_Send(&(A[0][0]), N*M, MPI_INT, destination, tag, MPI_COMM_WORLD);

，当你完成后，用

释放内存

free(A[0]);
free(A);

同时，MPI_Recv可以是阻塞接收，MPI_Send可以是阻塞发送。正如Joel所说的那样，这意味着你绝对不需要障碍。此外，这意味着如果您有上述的发送/接收模式，您可能会陷入僵局——每个人都在发送，没有人在接收。安全是:

if (myrank == 0) {
   MPI_Send(&(A[0][0]), N*M, MPI_INT, 1, tagA, MPI_COMM_WORLD);
   MPI_Recv(&(B[0][0]), N*M, MPI_INT, 1, tagB, MPI_COMM_WORLD, &status);
} else if (myrank == 1) {
   MPI_Recv(&(A[0][0]), N*M, MPI_INT, 0, tagA, MPI_COMM_WORLD, &status);
   MPI_Send(&(B[0][0]), N*M, MPI_INT, 0, tagB, MPI_COMM_WORLD);
}

另一种更通用的方法是使用MPI_Sendrecv:

int *sendptr, *recvptr;
int neigh = MPI_PROC_NULL;
if (myrank == 0) {
   sendptr = &(A[0][0]);
   recvptr = &(B[0][0]);
   neigh = 1;
} else {
   sendptr = &(B[0][0]);
   recvptr = &(A[0][0]);
   neigh = 0;
}
MPI_Sendrecv(sendptr, N*M, MPI_INT, neigh, tagA, recvptr, N*M, MPI_INT, neigh, tagB, MPI_COMM_WORLD, &status);

Answer 2

首先，您不需要那么多屏障其次，你应该把数据作为一个块发送，因为多个发送/接收阻塞会导致性能不佳。

Answer 3

这个问题已经被Jonathan Dursi彻底地回答了;然而，正如Jonathan Leffler在对Jonathan Dursi的回答的评论中指出的那样，C的多维数组是一个连续的内存块。因此，我想指出，对于不太大的2d数组，可以简单地在堆栈上创建2d数组:

int A[N][M];

由于内存是连续的，所以数组可以按原样发送:

MPI_Send(A, N*M, MPI_INT,1, tagA, MPI_COMM_WORLD);

在接收端，数组可以被接收为大小为N*M的1d数组(如果需要，可以将其复制为2d数组):

int A_1d[N*M];
MPI_Recv(A_1d, N*M, MPI_INT,0,tagA, MPI_COMM_WORLD,&status);
//copying the array to a 2d-array
int A_2d[N][M];
for (int i = 0; i < N; i++){
    for (int j = 0; j < M; j++){
        A_2d[i][j] = A_1d[(i*M)+j]
    }    
}

复制数组会占用两倍的内存，所以最好直接使用A_1d，通过A_1d[(i*M)+j]访问它的元素。