我正在研究用于图像分类的RBM(用于DBN)。我用了两个RBM层。第一种具有高斯可见单元和二进制隐藏单元，第二种具有二进制可见单元和softmax隐藏单元。它工作得很好。我现在想尝试使用Noise Rectified Linear Unit作为隐藏层，但我不知道如何实现它们。我所做的一切都导致了糟糕的结果。
现在，如果我理解正确的话:一个ReLU的激活概率就是p = max(0,x + N(0,1))，但是我如何采样这些值来激活可见的单位呢?噪声应该只用于采样而不用于激活概率吗?
另一件事:在一些论文中，我看到噪声是N(0,1)，而其他一些论文则使用N(0,sigmoid(x))。
那么，激活函数应该是什么，这些值应该如何采样?
显然:
使用max(0, x)作为激活概率函数，使用max(0, x + N(0, Sigmoid(x))进行采样似乎对RBM有效。