Google MLkit等库中对象/人脸标注准确率较低



我从MLkit的官方git(https://github.com/googlesamples/mlkit/tree/master/android/vision-quickstart)下载了样例项目,成功安装并运行。人脸检测模式下出现的人脸轮廓。然而,它远非准确。我以canthal index (https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6408655/)等最简单、最值得注意(也是最重要)的功能为例。我在相机视图中对真人进行了测试,并将照片打印出来放在相机前。令人惊讶的是,每个人的canthal指数(以en-en/ex-ex的比例计算)在0.38到0.40之间. 我使用的样本照片是公众人物,从欧洲人到中亚人再到东亚人。难以置信,但你可以自己尝试一下,看看结果。我有一个原始mlkit示例项目的修改版本(https://github.com/zhuofusong/FaceAnalysisApp/tree/main/android/mlkit%20vision),当轮廓显示打开时,在人脸检测模式下增加了canthal索引的显示。

这是缺陷吗?然后我进一步研究了这个问题,发现眼睛周围的地标(或轮廓)非常不准确。使用这种质量的地标不可能计算出有意义的特征或指数。正负线与水平线之间的夹角也很大。

Google的官方MLkit示例产生如此粗糙和错误的数据是相当奇怪的。难道人类在面部识别的第一个特征不是所有与眼睛有关的指数吗?误导的轮廓促使我寻找其他解决方案。

我希望MLkit团队能尽快修复这个不准确的图像注释问题。这将使其他开发人员能够更快地生成有意义的api,这些api可以与其他数据库和知识库链接。

我搜索了'canthal index'。排名第一的论文正常canthal指数值分别为0.36±0.03和0.36±0.05。这符合预期吗?

ML Kit提供设备上的ML模型,需要平衡模型大小,性能和准确性。为了在广泛的设备上获得更好的性能和更小的尺寸,精度肯定会被牺牲。我们正在研制新型号以提高精度/性能。

最新更新