使用弹性搜索的语义相似性



我浏览了一些博客,说通用句子编码器用于语义相似性的弹性搜索,我们可以使用BERT而不是ULSE吗?他们还说嵌入搜索必须遍历所有文档。是否可以进行优化。

https://www.elastic.co/blog/text-similarity-search-with-vectors-in-elasticsearch

当然-您可以使用BERT。然而,它将为将数据转换为向量嵌入带来更高的运行时间。顺便说一句,你应该探索其他相似性搜索的替代方案,比如pinecone.io,它提供了一个托管向量搜索服务。

绝对!您只需要使用dense_vvectors来搜索向量,这就是BERT的工作原理。

有关密集矢量的详细信息:https://www.elastic.co/guide/en/elasticsearch/reference/current/dense-vector.html

有关如何优化嵌入搜索的更多信息,您可以查看https://www.gsitechnology.com/sites/default/files/AppNotes/GSIT-Elasticsearch-Plugin-AppBrief.pdf