我正在使用带有SimpleRNN层的Tensorflow训练一个神经网络。默认为kernel_initializer='glorot_uniform'。荣光普通版和荣光统一版有区别吗?哪一个对RNN来说是最好的?
据我所知，格洛洛的Normal和Uniform非常相似。主要区别在于初始化过程中提取的随机值。在正态变化中，随机值取自以0(1)为中心的正态分布(也称为高斯分布)，而在均匀情况下，取自极限为[-limit,limit], where limit = sqrt(6 / (fan_in + fan_out))(2)的均匀分布
至于你的第二个问题，哪种方法更适合RNN，我不知道哪种方法更好。关于这个问题的讨论还在继续，但是你可以在datascience stackexchange中找到一个很好的答案。