当我们在不同的任务上微调模型时,模型中只有一部分变量从预训练任务中恢复,其他变量保留为初始值。
正如许多文档建议的那样(page1 page2(,当使用本地图进行训练时,在运行全局初始化操作后恢复预训练模型(如果包含 MonitoredSession 或 supervisor,则在"init_fn"中调用恢复(。
但是在分布式情况下,全局 init op 是否在调用恢复模型之前使"model_ready"返回 true? 其他非主节点将使用"未就绪"值。
弄清楚。global_variables_initializer在方面variable_initializers(global_variables(((。因此,我们只能初始化一些选定的变量,并从预训练模型中恢复左侧变量。"model_ready"将保持为 False,直到所有变量都恢复。