TensorFlow: nr.纪元与nr.的训练步骤

Question

我最近尝试了Google的seq2seq来建立一个小型的NMT系统。我设法让一切正常，但我仍然想知道模型的周期数和训练步骤数之间的确切区别。

如果我没记错的话，一个纪元由多个训练步骤组成，一旦你的整个训练数据被处理了一次，就会过去。但是，当我查看Google自己的NMT教程中的文档时，我不明白两者之间的区别。请注意以下代码片段的最后一行。

export DATA_PATH=
export VOCAB_SOURCE=${DATA_PATH}/vocab.bpe.32000
export VOCAB_TARGET=${DATA_PATH}/vocab.bpe.32000
export TRAIN_SOURCES=${DATA_PATH}/train.tok.clean.bpe.32000.en
export TRAIN_TARGETS=${DATA_PATH}/train.tok.clean.bpe.32000.de
export DEV_SOURCES=${DATA_PATH}/newstest2013.tok.bpe.32000.en
export DEV_TARGETS=${DATA_PATH}/newstest2013.tok.bpe.32000.de
export DEV_TARGETS_REF=${DATA_PATH}/newstest2013.tok.de
export TRAIN_STEPS=1000000

在我看来，似乎只有一种方法可以定义训练步骤的数量，而不是模型的周期数。术语是否有可能重叠，因此没有必要定义若干纪元？

Answer 1

一个纪元包括遍历一次所有训练样本。一步/迭代是指对单个小批量进行训练。因此，如果您有 1,000,000 个训练样本并使用 100 的批大小，则一个纪元将相当于 10,000 个步长，每步 100 个样本。

高级神经网络框架可能允许您设置周期数或训练步长总数。但是您不能同时设置它们，因为一个直接决定了另一个的值。