节省张量流编码器、解码器和注意力



开始使用编码器和解码器集中注意力训练一个简单的NMT(神经机器翻译器(,训练是在Colab上进行的,

encoder = Encoder(vocab_inp_size, embedding_dim, units, BATCH_SIZE)
decoder = Decoder(vocab_tar_size, embedding_dim, units, BATCH_SIZE)

然后使用检查点保存模型,

# On loacl machine dir changed to 'training_checkpoints/' to fit the loaction
checkpoint_dir = './training_checkpoints'
checkpoint_prefix = os.path.join(checkpoint_dir, "ckpt")
checkpoint = tf.train.Checkpoint(optimizer=optimizer,
                                 encoder=encoder,
                                 decoder=decoder)

并在运输过程中使用

checkpoint.save(file_prefix = checkpoint_prefix)

训练后恢复检查点在 Colab 上工作正常,即使将整个检查点文件夹保存在 Google 驱动器上并再次恢复它们,但是当尝试在我的本地计算机上恢复它们时,它返回不同的垃圾结果,训练前开始检查点使用

checkpoint.restore(tf.train.latest_checkpoint(checkpoint_dir))

科拉布笔记本输出:

Input: <start> يلعبون الكرة <end>
Predicted translation: he played soccer . <end> 

本地机器输出:

Input: <start> يلعبون الكرة <end>
Predicted translation: take either either either either either either either either either either either either either either either either either either either either either either either either either either either either either either either either either either either either either either either either either

Colab 张量流版本:1.13.0-rc1

本地机张量流版本:1.12.0

如何在不遇到此问题的情况下保存模型,知道此问题是由于不同版本的张量流引起的?

NMT 笔记本的附加链接注意力集中的神经机器翻译

TF 仅提供向前兼容性保证: https://www.tensorflow.org/guide/version_compat#compatibility_of_graphs_and_checkpoints1.13 保存 1.12 无法还原的文件并不奇怪。升级本地机器的张量流?

相关内容

最新更新