我不明白maxout是如何工作的，我怀疑这是由于我对线性代数乘法的可视化。基本上，我的印象是maxout函数有两组权重，都是单独训练的，然后只有一个被选中。但我怀疑这可能是错误的，因为我没有看到在网络的一次前馈运行中同时训练两个不同权重的方法。
同样，如果函数中的两个权重w1和w2不指向两个唯一的权重集，那么是否可以有两个以上的参数被输入到maxout函数中，并且其中只选择了max ?
下面是我读到的maxout函数:max (w1.T.dot (X) + b1), (w2.T.dot (X) + b2))
有没有一种心理表征可以让我更好地想象这一点?
我知道有点晚了，但我还是要回答。你可以在这里查看maxout networks的作者Ian Goodfellow的视频，这里是视频中使用的幻灯片的URL。
下面是Maxout网络定义的截图:
点击这里
所以事实证明你是完全正确的。对于每个神经元，你创建了两次权重和两次偏差。如果你想要更多，那么你可以为每个神经元创建n个权重和n个偏差，然后选择最大值，并对该层中的所有神经元做同样的操作。