更新神经网络中的权重

Question

我一直在尝试从头开始编写神经网络代码，并观看了几个视频以了解它是如何实现的。

所以我遇到了这个指南，它用Python构建了一个简单的神经网络。

X = np.array([ [0,0,1],[0,1,1],[1,0,1],[1,1,1] ])
y = np.array([[0,1,1,0]]).T
syn0 = 2*np.random.random((3,4)) - 1
syn1 = 2*np.random.random((4,1)) - 1
for j in xrange(60000):
    l1 = 1/(1+np.exp(-(np.dot(X,syn0))))
    l2 = 1/(1+np.exp(-(np.dot(l1,syn1))))
    l2_delta = (y - l2)*(l2*(1-l2))
    l1_delta = l2_delta.dot(syn1.T) * (l1 * (1-l1))
    syn1 += l1.T.dot(l2_delta)
    syn0 += X.T.dot(l1_delta)

我发现最后 2 行令人困惑，不应该是syn1 -= l1.T.dot(l2_delta)和syn0 -= X.T.dot(l1_delta).

我以为在梯度下降中你减去斜率，但似乎在这里添加了它。这是梯度上升吗？

有人可以解释一下最后 2 行是如何工作的吗？

Answer 1

你是对的：你减去梯度下降的斜率。

这正是该程序的作用，减去斜率。 l1.T.dot(l2_delta)和X.T.dot(l1_delta)是负斜率，这就是为什么此代码的作者使用+=而不是-=。