如何在scikit学习中使用LDA(线性判别式)进行预测

Question

我一直在测试PCA和LDA对我想要自动识别的3种不同类型的图像标签进行分类的效果。在我的代码中，X是我的数据矩阵，其中每行是图像中的像素，y是说明每行分类的1D数组。

import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.decomposition import PCA
from sklearn.lda import LDA
pca = PCA(n_components=2)
X_r = pca.fit(X).transform(X)
plt.figure(figsize = (35, 20))
plt.scatter(X_r[:, 0], X_r[:, 1], c=y, s=200)
lda = LDA(n_components=2)
X_lda = lda.fit(X, y).transform(X)
plt.figure(figsize = (35, 20))
plt.scatter(X_lda[:, 0], X_lda[:, 1], c=y, s=200)

使用LDA，我最终得到了3个明显可区分的簇，它们之间只有轻微的重叠。现在，如果我有一个新的图像要分类，一旦我把它变成1D阵列，我该如何预测它应该属于哪个聚类？如果它离中心太远，我该怎么说分类是"不确定的"？我也很好奇".transform（X）"函数在拟合数据后对数据做了什么。

Answer 1

使用一些数据X训练LDA模型后，您可能需要投影一些其他数据Z。在这种情况下，你应该做的是：

lda = LDA(n_components=2) #creating a LDA object
lda = lda.fit(X, y) #learning the projection matrix
X_lda = lda.transform(X) #using the model to project X 
# .... getting Z as test data....
Z = lda.transform(Z) #using the model to project Z
z_labels = lda.predict(Z) #gives you the predicted label for each sample
z_prob = lda.predict_proba(Z) #the probability of each sample to belong to each class

请注意，"拟合"用于拟合模型，而不是拟合数据。

因此，transform用于构建表示（在这种情况下为投影），predict用于预测每个样本的标签。（这用于从sklearn.中的BaseEstimator继承的所有类

您可以阅读文档以了解更多选项和属性。

此外，sklearn的API允许您执行pca.fit_transform(X)而不是pca.fit(X).transform(X)。当您对代码中的这一点之后的模型本身不感兴趣时，请使用此版本。

一些评论：由于PCA是一种无监督的方法，LDA是一种更好的方法来进行您目前正在进行的"视觉"分类。

此外，如果你对分类感兴趣，你可以考虑使用不同类型的分类器，不一定是LDA，尽管这是一种很好的可视化方法。