培训自定义表单,选择标记边界框标识问题



我在训练自定义表单时使用了FOTT的当前预览版本。我注意到在某些情况下,分析布局的能力在识别选择标记方面存在问题。我正在训练一个模型,以便与标准的美国政府表格(MCSA-5876(一起使用,因此我们无法更改表格布局。图片以jpg格式上传,这是本项目的要求。

  1. 复选框(方形(似乎可以识别
  2. 如果选项未选中,则大多数时间无线电选项都有效&图像一点也不失真
  3. 大多数情况下,使用X填充的手写收音机都能正常工作
  4. 来自中间有一个点的填充PDF的收音机通常会失败。请注意,这些是以jpg而非pdf格式发送给我们的

我试着对一些填充的PDF文件进行分析以进行测试,但就选择标记而言,这些文件的结果甚至比jpg文件更糟糕。我也尝试过创建我自己的模拟表单&保存为高分辨率jpg,但它们的结果与客户的结果相似。

我想要的是关于如何提高选择准确性的建议。我目前正在为超过20张图片的模型设置一个训练集。我还想知道是否有一种方法可以修改初始分析并指定选择的边界框。手动编辑blob存储中的*.ocr.json文件是否有效?当然不是理想的解决方案。

我附上了一张图片,显示了我遇到的问题。像MD、DO、医师助理等电台都没有边界框。其他人,如高级实习护士和其他从业者,会这样做。如果分析器找不到它们进行标记,那么当你使用经过训练的模型分析新文档时,它将找不到。因此,该值返回为null。

TIA富

样品

您是否使用最新的Form Recognizer版本2.1-preview.3 API?我们正在不断提高提取质量。我尝试了一下示例表单,复选框和单选按钮都被提取出来了。你能分享一些你看到遗漏的样本吗(请匿名数据(你也可以联系Form Recognizer联系我们formrecog_contact@microsoft.com或者打开一张支持票,我们可以提供帮助。

使用了最新的FR试用工具-https://fott-preview.azurewebsites.net/layout-analyze突出显示的提取文本和选择标记[1] :https://i.stack.imgur.com/Wk7yz.jpg

最新更新