我对如何在实体链接过程中计算召回率和精度感到非常困惑。当我们把一个实体消歧为正确的感官(T(或不正确的感官(F(时，我们只有这两种情况。但是我们如何得到这四种情况：TP，TN，FP，FN？
这是一个有趣的问题。我认为答案之所以避开你，是因为评估你的预测不止两个正确/不正确的答案。
实体链接是多类分类的一种形式，其中可能有许多可能的答案，但只有一个是正确的。按照维基百科中的例子，"我不喜欢巴黎"可能意味着"法国巴黎"、"德克萨斯州巴黎"或"帕丽斯希尔顿"。
评估多类分类器的性能遵循对二元分类器的评分方式(只有两种可能的结果(：
表1
Actual
0 1
Predicted 0 TN FN
1 FP TP
一旦你有了这个，你就可以跟踪费率，在TPR，FPR等中，用于召回，精度等，你听起来很熟悉。
要评估多类分类器，您需要根据可能的答案(类(对其进行评估，并将所有不正确的答案视为否定。(参考： Microsoft， SciKitLearn (
想象一下 A、B 和 C 是上述三个巴黎实体(为了可读性(。我将在分类旁边添加"二元处理"，这样你可以看到分数跟在二元之后，方式与上面相同。
首先，您将获得A：巴黎法国的链接器。
表 2A
Actual
A B C
1 0 0
Predicted A 1 TP FP FP
B 0 FN TN TN
C 0 FN TN TN
接下来得分 B 答案：
表 2B
Actual
A B C
0 1 0
Predicted A 0 TN FN TN
B 1 FP TP FP
C 0 TN FN TN
最后考虑 C
表2C
Actual
A B C
0 0 1
Predicted A 0 TN TN FN
B 0 TN TN FN
C 1 FP FP TP
当然，在您的评估器中，您将自动执行此处理。好的框架具有内置的评估工具，可以在引擎盖下执行此操作。
(顺便说一下，我只是想象并创建了这些表格作为说明它的一种方式，所以对任何勘误表表示歉意(。