在张量流对象检测中找到最佳学习率

Question

我想使用tensorflow对象检测API搜索最佳学习率。但是在配置文件中我找不到任何内容。我可以添加schedule但它无法搜索最佳学习率。

learning_rate: {
            manual_step_learning_rate {
              initial_learning_rate: 0.003
              schedule {
                step: 6000
                learning_rate: .0003
              }
              schedule {
                step: 12000
                learning_rate: .00003
              }

有什么技巧或方法可以搜索最佳学习率。

Answer 1

如果您参考学习率查找器(如 Smith 在此处描述的那样：https://arxiv.org/abs/1803.09820(，似乎您可以使用以下内容来模拟它：

learning_rate: {
    exponential_decay_learning_rate {
          initial_learning_rate: 0.004
          decay_steps: 10000
          decay_factor: 1.3
    }
}

decay_factor高于 1。

不过，您仍然必须查看损失并自己选择最佳学习率。