超调包中的'report_hyperparameter_tuning_metric'函数中的'global_step'参数指的是什么?



我正在使用Google Vertex AI来训练模型,我不确定这个参数指定了什么。我注意到,在一些Vertex AI教程中,这个值也被赋予了一个名为"NUM_EPOCHS"的变量值。查看Github中的包并不能增加多少清晰度。

我不确定这怎么能指代模型训练的时期数量,因为我觉得只需编写代码就可以更容易地完成这一点(其默认值1000似乎高得离谱(。这个参数是什么意思?

训练步骤中的global_step被分配到report_hyperparameter_tuning_metric函数中,该函数用于定义图可以看到的批次数量,如StackOverflow问题中所述。它表示从模型开始到现在,在训练过程中看到了多少个批次。

函数report_hyperparameter_tuning_metric用于记录某些度量(例如损失(的值并将其转储到文件中,以了解模型的执行情况。它获取度量值和步数(表示已经通过了多少步,这意味着模型看到并记录了多少个批次的数据点。每个步骤之后都需要调用此函数(模型看到批次,更新权重和度量值并调用此函数(,这样训练度量将记录在2D图中(步数/度量(。该步数等于用于跟踪批次数量的global_step的值。

global_step用于跟踪看到的批次数量。它必须是一个整数变量。每次提供批次时,权重都会以最小化损失的方向进行更新。当global_stepoptimizer.minimize()一起使用时,变量在global_step参数中增加一。

最新更新