用于3D体积图像的沿着三个正交(轴)的2D卷积

Question

由于3D卷积需要太多的计算成本，所以我更喜欢使用2D卷积。我在这里的动机是对体积图像使用2D卷积来降低这一成本。

我想沿着三个正交线应用2D卷积来获得3个结果，每个结果都属于其中一个正交线。更清楚地说，假设我有一个三维体积图像。我不想应用三维conv，而是想同时使用xy、xz和yz轴的二维conv。然后，我预计会有3种不同的体积结果。每个结果代表三个不同的正交。

有办法做到这一点吗？谢谢你的帮助。

Answer 1

您可以对图像进行排列。(一些框架如numpy称之为transpose(。

假设我们使用3 x 3作为卷积核。

# A batch of 16 3 channel images (channels first)
a = tensor(shape=[16,3,1920,1080])
# 2D conv will slide over a `1920 x 1080` image, kernel size is `3 x 3 x 3`
a.shape is (16,3,1920,1080)
# 2D conv will slide over a `3 x 1080` image, kernel size is `1920 x 3 x 3`
a.permute(0,2,1,3)
a.shape is (16,1920,3,1080)
# 2D conv will slide over a `1920 x 3` image, kernel size is `1080 x 3 x 3`
a.permute(0,3,2,1)
a.shape is (16,1080,1920,3)