我已经为两层网络实现了ANN,我需要用动量修改我的权重更新代码,但我需要知道如何更新它。下面是只更新权重的代码快照。下面的代码更新了它看到的每个示例的权重,hiddenWights是隐藏层权重,outputWeights是输出层权重。
for examplen = 1: nTrainingExamples
inputVector = inputs(:,examplen);
HiddenLayerOutput = sigmoid( hiddenWeights * inputVector);
OutputLayerOutput = sigmoid( outputWeights * HiddenLayerOutput);
l2_error = OutputLayerOutput - targets(:, examplen);
l2_delta = learningRates(1, i) .* (OutputLayerOutput .* (1 - OutputLayerOutput)) .* l2_error;
l2_v = mu * l2_v - l2_delta * t;
l1_delta = learningRates(1, i) .* (HiddenLayerOutput .* (1 - HiddenLayerOutput)) .* (outputWeights' * l2_delta);
l1_v = mu * l1_v - l1_delta * t;
% weights = weights + v
outputWeights = outputWeights + (l2_v*HiddenLayerOutput');
hiddenWeights = hiddenWeights + (l1_v*inputVector');
end
从我们的对话中可以看出,您想要实现一个经典的动量方法(而不是Nestrov)。因此,你需要一个额外的参数-速度v
和时间t
和动量mu
常数。
在学习之初,您应该将速度设置为0
:
v = 0
并且选择CCD_ 5(例如,将其设置为0.1)和CCD_
在每次训练中,你应该根据以下规则改变你的重量:
v = mu * v - delta * t
weights = weights + v
参数mu
和t
是元参数,您可以通过网格或随机搜索找到它们的良好值。