我的LSTM网络非常慢.要优化什么

Question

我有以下深度学习4j网络(和其他类似的(

MultiLayerConfiguration conf = new NeuralNetConfiguration.Builder()
.updater(new Adam.Builder().learningRate(2e-2).build())
.l2(1e-5)
.weightInit(WeightInit.XAVIER)
.gradientNormalization(GradientNormalization.ClipElementWiseAbsoluteValue).gradientNormalizationThreshold(1.0)
.list()
.layer(0, new LSTM.Builder().nIn(vectorSize).nOut(256)
.activation(Activation.TANH).build())
.layer(1, new RnnOutputLayer.Builder().activation(Activation.SOFTMAX)
.lossFunction(LossFunctions.LossFunction.MCXENT).nIn(256).nOut(2).build())
.build();

不幸的是，训练非常缓慢。我的矢量大小是400。我有大量的样品。你有什么建议可以优化以加快训练速度？我应该减小内层尺寸吗？感谢

Answer 1

根据我自己的经验，我首先肯定会尝试Activation.SOFTSIGN作为您的激活函数。它不会很快饱和，从而提高了对消失梯度的鲁棒性。