scikit-learn的KNN如何计算概率估计？

Question

在scikit learn中实现KNN算法如何计算predict_proba(X)方法的概率估计?

Answer 1

下面的例子是从sklearn文档中提取的，但修改了一点，这样你就可以理解我们在这种情况下做了什么，更多的细节见:https://scikit-learn.org/stable/modules/generated/sklearn.neighbors.KNeighborsClassifier.html假设有6个点属于0类或1类:

#import libraries
from sklearn.neighbors import KNeighborsClassifier
# Data
X = [[5,5], [3,3],[4,4.5], [8,9.3], [8,9.1],[10,15]]
y = [0, 0,0, 1, 1,1]
#  Define the knn and fit the model
neigh = KNeighborsClassifier(n_neighbors=4)
neigh.fit(X, y)
# Examples
# Print the probabilities 0 and 1 respecetively
print('Predict probabilities of 0 and 1 ',neigh.predict_proba([[4,4]]))
# Print the probabilities of 0 and 1 
print('Predict probabilities of 0 and 1 ',neigh.predict_proba([[10,12]]))

你所做的基本上是说我们有n_neighbors=4，所以离点[4,4]最近的4个点是:3属于类0,1属于类因此，你有3/4 = 0.75的第一类和1/4 =0.25的第二类(这是第一次打印)。注意，如果你设置n_neighbors=3并拟合模型你会得到最近的三个元素x对于点[4,4]是0类因此概率为[1,0](3/3 = 1属于1类0 = 0)一个可能出现的问题是:他们如何定义一个点靠近另一个点?好吧，在文档中说他们默认使用minkowski距离p = 2，这相当于计算[4,4]和训练数据中每个点之间的欧几里德距离(见https://en.wikipedia.org/wiki/Minkowski_distance)