Solr的LTR插件对大型模型实用吗?



使用SOLR-LTR插件的MultipleAdditiveTreesModelNeuralNetworkModel类时,您的模型是在加载到模型存储中的JSON配置中定义的。

我的理解是,如果串行化为JSON,复杂的树模型和神经网络(NN(模型可以得到非常大的。我认为某些NN模型在串行化为JSON时可以轻松地>500MB。

该插件的文档承认,由于Zookeeper的限制,加载"大型"模型可能无法加载(参考:https://lucene.apache.org/solr/guide/8_4/learning-to-rank.html#using-大型模型(。当点击可能的修复程序时,它会显示默认限制为1MB(!?(。

Solr LTR插件应该只用于简单的用例吗?在这些用例中,你可以保持你的模型足够简单,使其<串行化时为10MB?

根据Solr LTR文档,您可以使用DefaultWrapperModel并将模型文件放在磁盘上:

在solrconfig:的lib部分添加模型的路径

<lib dir="/path/to" regex="models" />

然后,配置您的型号:

{
"store" : "largeModelsFeatureStore",
"name" : "myWrapperModel",
"class" : "org.apache.solr.ltr.model.DefaultWrapperModel",
"params" : {
"resource" : "myModel.json"
}
}

并在重新排序查询中访问您的模型作为model=myWrapperModel

https://lucene.apache.org/solr/guide/8_4/learning-to-rank.html#using-大型

最新更新