使用TensorFlow估计器API进行混合精液训练

Question

是否有人使用TensorFlow估算器API有混合精液培训的经验？

我尝试将输入投入到tf.float16和网络的结果回到tf.float32。为了缩放损失，我使用了tf.contrib.mixed_precision.lossscaleoptimizer。

我收到的错误消息相对不信息："尝试将'x'转换为张量并失败。错误：不支持不支持的无值"，

Answer 1

我发现了问题：我使用tf.get_variable来存储学习率。该变量没有梯度。普通优化器不在乎，但是tf.contrib.mixed_precision.lossscaleoptimizer崩溃。因此，请确保这些变量未添加到tf.graphkeys.trainable_variables。