我正在学习NN。我大致了解了它是如何工作的，但仍然有一件事不清楚。为什么我们要把减号放在导数前面？在导数本身为负的情况下，它不应该只是导数吗？我的意思是，如果a点的梯度已经是负的，那么负号就不应该出现。不是吗？请帮忙。
反向
传播中的导数回答了这个问题：如果我增加体重 (x(，损失 (y( 将如何变化？
对于正导数 - 为了减少损失，我们必须减轻重量。为了减轻重量，我们只需要减去正值。
对于负导数 - 为了减少损失，我们必须增加权重。为此，我们需要减去负值。
对于这两种情况，我们都需要用与导数相同的符号减去值。
w1 = w0 - derivative
衍生品也在回答问题 损失会改变多少？但它并不完全准确，因为它告诉我们多少，仅适用于当前点的平坦斜率。为了更好地控制我们可能使用因子学习率的程度
w1 = w0 - lr * derivative