我可以微调像Resnet和Vgg19这样的预训练分类CNN来预测图像中的一些角度吗

Question

最近我在Blender中为一匹马建模，随机改变它的头部、颈部和腿部的旋转，并渲染了许多图像来构建数据集。

之后，我对resnet和vgg19进行了微调，以预测每个部分的旋转，但性能非常差。损失从0.9下降到0.6，但没有达到足够低的值，验证集的性能非常非常差。

在我看来，以下是导致这种情况的一些潜在原因：

1此任务不适合微调分类模型

2我稍微改变全连接层，并在其上添加tanh来预测角度的sin和cos，然后最小化预测和地面实况之间的均方误差。谭不适合做这项工作

有人有微调模型来预测角度的经验吗？

Answer 1

我没有微调模型以预测角度的经验。但根据我的物体检测任务经验，任务是可以完成的。因为在物体检测中，一些输出是位置坐标。极坐标系和直角坐标系可以通过矩阵乘法相互转换。所以，你可以试试物体检测的方法。