TensorFlow:是否可以恢复用于多GPU培训的检查点模型



我当前正在使用主管,并仅构建了一个图表来使用TF-SLIM的预训练权重执行转移学习。我想知道是否有一种方法可以在一开始就将检查点模型还原为多个推理模型?我的主要问题是,首先,在TF存储库上定义为参考代码中定义的名称范围可能会导致预先训练的变量由于名称不匹配而无法恢复。另外,鉴于我必须使用一个带有init_fn的主管,该主管只会吸收一个恢复变量的节省机。

我的一个想法是,也许我可以将变量恢复到一个图,然后让另一个GPU使用同一图进行训练。但是,仅在第一个GPU完成后才进行下一个GPU的培训?但是,这样,除非我编辑检查点权重的名称。

,我也无法根据原始检查点模型变量名称恢复权重。

保存和恢复变量的张力流文档将您指向储蓄对象,从而使您可以通过将字典从保存的名称传递到变量对象时指定了保存的变量作为模型变量恢复为什么模型变量构建储蓄者。

最新更新