我想在Flux中为我的优化器设置默认学习率。我看到了这个例子:https://fluxml.ai/Flux.jl/stable/training/optimisers/并且这样做的接口似乎是通过CCD_ 1函数。这是设定学习率的方法还是他们的其他选择?
正如Flux.jl文档中提到的,有几个不同的接口可以设置学习率。对于优化器,可以使用update!()
函数。在梯度下降的情况下:
下降(η=0.1(:具有学习率η的经典梯度下降优化器。对于每个参数p及其梯度δp,运行p-=η*δp
这意味着我们可以将一些学习率(通常在0.1到0.001之间(传递给Descent
函数来设置LR
您可以使用一系列其他函数来指定特定优化器用例的LR,您可以在这里找到这些函数:https://fluxml.ai/Flux.jl/stable/training/optimisers/#Optimiser-参考