我可以动态更改 Keras 中神经网络的学习率吗?

Question

我正在尝试实现DQN代理，因此是深度强化学习解决方案。

我应该在几次迭代后降低学习率，而不改变模型权重或其他任何东西。在RL问题中，"拟合"是在收集到一定数量的新事件后完成的，每个"拟合"只有1个单一的时期，因此衰减率

目前，我找到的唯一解决方案是执行以下操作：

if(time%1000==0):
learning_rate=learning_rate*0.75
mainQN_temp=QNetwork(hidden_size=hidden_size, learning_rate=learning_rate)
mainQN_temp.model.load_weights("./save/dqn-angle3-"+str(t)+".h5")
mainQN=mainQN_temp

class QNetwork:
def __init__(self, learning_rate=0.01, state_size=4,
action_size=5, hidden_size=32):
# some layers in here
self.optimizer = Adam(lr=learning_rate)
self.model.compile(loss='mse', optimizer=self.optimizer)

这是最低效的事情。我尝试引用像 mainQN.optimizer.lr 这样的东西，但没有运气。

Answer 1

K.set_value(model.optimizer.lr, new_lr)就可以了。 (K如import keras.backend as K(

相反，如果您想在任意数量的批次拟合(即训练迭代(后减少lr，则可以定义自定义回调：

class ReduceLR(keras.callbacks.Callback):
def on_batch_end(self, batch, logs=[]):
if K.eval(self.model.optimizer.iterations) >= 50:
K.set_value(self.model.optimizer.lr, 1e-4)
reduce_lr = ReduceLR()
model.fit(x, y, callbacks=[reduce_lr])