使用对比发散时计算 RBM 导数的差异

Question

谁能解释一下我在 RBM 中用 -h_j * x_k 和 - h_j（x） * x_k 计算导数之间的区别？我找到了两种实现的源代码，但我不确定哪个更好（为什么？

Answer 1

h_j 和 h_j（x） 是指 j^th 隐藏神经元样本还是 j^th 隐藏神经元 sigmoidal 激活？假设如此，如果您计算负对数似然函数的导数，结果为 P（h_j = 1） * x_k。