事实上，即使激活函数的值在 -10 到 10 之间，在我看来，这将使网络更加灵活。毕竟，问题不能仅仅在于没有合适的公式。请解释我错过了什么。
神经网络中特定节点的激活函数采用前一层的加权和。
如果前一层是具有激活函数的层，那么它将只是节点和权重的加权和，这些权重已被每个节点上的前一个激活函数偏移。如果此激活函数是挤压函数(例如 sigmoid(，则加权和中的所有操作数在相加之前都会压缩为较小的数字。
如果您在前一层中只有几个节点，那么通过激活函数传递给当前节点的数量可能会很小。但是，如果前一层的节点数量很大，那么数量不一定会很小。
神经网络中激活函数的输入取决于：
- 前一层的大小
- 前一层的激活函数
- 连接这些图层的权重值
- 上一层中节点的值
因此，传递给激活函数的值实际上可以是任何东西。