如果我在 RBM 中使用 softmax，我是否需要在隐藏单元和可见单元中使用它？

Question

据我所知，在RBM可见单位中使用K值的softmax时，隐藏单位保持二进制。

如果是这样-我不确定如何计算二进制单位对可见单位的贡献。我是否应该将隐藏单元中的二进制0状态与softmax的K个状态中的一个特定状态联系起来，将1状态与其他K-1状态联系起来?或者可能隐藏单元中的0与可见单元中所有K种可能状态中的0相关(但这与K种状态中至少有一种必须是开的事实不矛盾吗?)

Answer 1

我想我已经弄清楚了我的误解:softmax单元表现为二进制子单元组，每个子单元对隐藏单元都有自己的权重。这意味着隐藏层和可见层之间的权重矩阵是3维的，而不是2维的，现在如何计算贡献是很明显的。