深度神经网络应该增加、减少或保持隐藏节点不变

Question

隐藏层中的隐藏节点数通常应该增加、减少还是保持不变。我看到在一些conv网络中，如alexnet、VGG和resnet，节点的数量在随后的层中往往会增加。为什么会这样，它真的重要吗？

Answer 1

没有一般规则，如何构建神经网络完全取决于问题。几乎任何方案——递减、递增、小瓶颈、宽"瓶颈"——都有自己的应用。为了真正了解正在发生的事情，您需要大量的经验，但通常情况下，调整架构是相当棘手的，通常需要一些"经验法则"来完成，比如"我们使用XXX使用的架构，然后尝试对其进行一点调整"。