我正在使用TensorFlow Keras实现深度架构。起初,我使用了一个没有定义学习率的损失函数,例如:
model.compile(loss="categorical_crossentropy", optimizer="adam", metrics=["accuracy"])
我想知道默认学习率是多少,TensorFlow Keras是如何设置的。第二,哪个更可取:默认指定学习率还是自定义(用户指定(学习率?
然后我切换到自定义学习率。然而,我观察到了为学习率赋值的两种不同方法。例如,一个是lr,另一个是learning_rate。
设置学习率的第一种方法
optimizer = Adam(learning_rate=0.001)
model.compile(loss="categorical_crossentropy", optimizer=optimizer, metrics=["accuracy"])
设置学习率的第二种方法
optimizer = Adam(lr=0.001)
model.compile(loss="categorical_crossentropy", optimizer=optimizer, metrics=["accuracy"])
learning_rate
和lr
之间有什么区别?
lr
实现已被弃用,但它们本质上做了相同的事情。你可以在这里查看。来源:@Frightera。