如何从磁盘加载 spark-nlp 预训练模型

Question

从spark-nlpGithub页面，我下载了一个.zip文件，其中包含一个预先训练好的NerCRFModel。zip 包含三个文件夹：嵌入、字段和元数据。

如何将其加载到 ScalaNerCrfModel中以便我可以使用它？我必须将其放入HDFS或启动Spark Shell的主机中吗？我如何引用它？

Answer 1

你只需要提供你提到的文件夹的路径，

import com.johnsnowlabs.nlp.annotators.ner.crf.NerCrfModel
val path = "path/to/unziped/file/folder"
val model = NerCrfModel.read.load(path)
// use your model
model.setInputCols(someCol)
model.transform(yourData) // which contains 'someCol',

只要我记得，您就可以将文件夹放在本地 FS 或分布式 FS 中，希望这对其他用户也有帮助！

最好 阿尔贝托。