ReLU 和 Tanh 激活函数的数据缩放



我有X_train和Y_train。X_train 和 Y_train 的正值和负值介于 (-2,2) 之间。Tanh 激活函数的值可以介于 (-1,1) 之间。同样,ReLU 只能具有大于 1 的正值。如果我想使用深度神经网络扩展数据以进行训练,我是否应该考虑激活函数来决定缩放范围?

如果我使用 Tanh 激活函数,我应该将数据缩放到 (-1,1) 范围吗?同样,对于 ReLU 激活函数,是否需要在 (0,1) 之间缩放数据?

我的未缩放数据有正数和负数。我在 (0,1) 和 ReLU 激活函数之间使用缩放。我在预测这些设置时遇到问题。该解决方案在 (0,1) 缩放时与 ReLU 激活函数发散。但是,如果我使用 (-1,1) 缩放和 ReLU 激活函数,解决方案不会发散。我还发现缩放范围不会影响 tanh 激活函数的预测。

谢谢。

不,您不需要根据非线性缩放数据的值。只需规范化您的数据,您应该没问题。

最新更新