在Databricks中节省tensorflow模型的权重

Question

在Cluster1上运行的Databricks笔记本中

path='dbfs:/Shared/P1-Prediction/Weights_folder/Weights'
model.save_weights(path)

然后立即尝试

ls 'dbfs:/Shared/P1-Prediction/Weights_folder'

我在输出显示

中看到实际的权重文件但是当我运行完全相同的命令时ls 'dbfs:/Shared/P1-Prediction/Weights_folder'在群集2上运行的另一个Databricks笔记本上，我得到错误

ls: cannot access 'dbfs:/Shared/P1-Prediction/Weights_folder': No such file or directory

我不能解释这个。这是否意味着我的"save_weights"是否将权重保存在集群内存中，而不是在实际的物理位置中?如果是这样，有解决办法吗?如有任何帮助，不胜感激。

Answer 1

Tensorflow使用Python的本地文件API，不能与dbfs:/...一起工作-您需要更改路径以使用/dbfs/...而不是dbfs:/...。

但实际上，使用MLflow记录模型可能会更好，在这种情况下，您可以轻松加载它进行推理。参考文档，或者这个例子。