Azure搜索-高亮显示-在图像中定位



只是在寻找指导,甚至是一个大概的方法。

我正在使用azure搜索来OCR一批pdf文件。我已经打开了点击高亮,我成功地得到了结果,我正在循环/显示在我的视图中为最终用户。我想把这个功能扩展到showpdf图像,在图像本身上突出显示,就像在JFK azure示例中一样。我不精通反应,似乎在那里迷路了。

我假设我需要将OCR图像保存到数据存储以供参考,使用所创建的normalized_images ?我有本地的pdf文件,我可以加载,但假设OCR图像可能不同。已经打开了GeneratedNormalizedImagesPerPage并打开了在我的存储帐户中创建文件的缓存。

然后我假设我需要拉出相关的图像,显示它,使用高亮显示结果并拉出相应的边界框,其中检测到短语?这种方法的问题是,我没有看到突出显示命中和命中的位置(边界框)之间的任何关联,也没有看到命中所对应的图像文件。

可能离这里很远,但任何指导都是感激的。

编辑1我注意到了这个页面上JFK例子中的条目:https://github.com/microsoft/AzureSearch_JFK_Files/tree/master/JfkWebApiSkills/JfkWebApiSkills会试图复制ImageStore(所以那些都存储在我的存储帐户),然后HocrGenerator(似乎处理点在一个文档)到我的技能集为我的索引是方法吗?

这里有几个步骤:

  1. 你需要将layoutText从OCR技能中保存到UI可以访问的地方。JFK Files演示将其转换为HOCR(在UI中显示),并将其作为索引中的字段保存在索引中,以便在搜索结果中检索。HOCR不是必需的,您可能会发现使用知识存储对象投影将布局存储在blob中更有效。

  2. 使用文件投影将提取的图像保存到blob存储到知识存储中。请记住,在此过程中图像可能会被调整大小,并且坐标将与保存到存储中的调整后的图像相匹配。如果您想将坐标映射到原始图像,请参阅此

  3. 在搜索时,将突出显示映射到元数据。您将在nodejs前端中找到这些代码,但在原始演示中遵循这里的代码可能更简单。基本上,您只需在元数据中找到高亮显示的单词的第一个出现,显示相关图像,并计算单词的边界区域。

最新更新