多层RNN的隐藏层的输入是什么



这个问题让大部分内容都很清楚。只有一部分我还不知道答案。。。在本文的图1中,深层的输入是相同的输入(即x[t](还是前一层的输出?

一个非常简单的表达问题的方法是在论文的图1中,红线是穿过每一层的,还是前一层的输出。

我认为在时间t时所有层的输入都是x[t],因为如果它是前一层的输出,并且x[t]与h[t]的维度不同,那么你需要所有隐藏的GRU单元来接受t输入的不同维度(也就是说,第一层将接受隐藏状态和输入,但所有后续层将接受来自t-1的相应隐藏状态,但也接受来自前一层的隐藏状态(。

但话说回来,在我的一个类中,TA有一个解决方案,假设x[t]和h[t]是相同的维度,所以对于后续层,他传递前面的层输入。。。这似乎不是一般的情况。

tensorflow和pytorch源代码可能会提供一个明确的答案?

为Pytorch解决了这个问题。它肯定是时间t的输入,因为层对于输入都具有相同的维度。

我还没有找到tensorflow的具体文档来暗示这一点,但我认为这是一样的。

相关内容

  • 没有找到相关文章

最新更新