DeeplabV3+没有经过预训练的主干，会是DSC不好的原因吗?

Question

我使用DeeplabV3+分割医学图像(CT)中的多个目标，但使用3D卷，因此我无法在网络中加载预训练的骨干(resnet等)。

详细信息是:

1. 补丁大小:16,256,256(无法编辑)
2. 批处理大小:2(因为GPU无法承受更大的)
3. 优化器:SGD
4. loss: Dice+CrossEntropy(参考nnUNet设置)
5. 数据集:大约20例。
6. 原始代码是针对2D情况的，我将每一层从2D交换到3D(如nn)。Conv2d TO nn。Conv3d和其他东西)

但是最后，我的验证DSC刚刚达到0.6左右，我不知道我的代码出了什么问题?谁能给我一个帮助(主意)吗?非常感谢!

提高模型的性能，因为现在我不知道为什么我的网络这么差。非常感谢。

Answer 1

你可以尝试在3D图像上使用一些3x3卷积层，保持特征的维度(h和w)不变，然后使用1x1卷积层将这些张量转换为3通道张量。现在你将有一个具有3个通道的图像的相同高度和宽度的张量，你可以使用预训练的模型。

参考，请查看这里:https://segmentation-models.readthedocs.io/en/latest/tutorial.html training-with-non-rgb-data