我正在使用Scikit Learn的RandomForestClassifier来预测文档的多个标签。每个文档有50个功能,没有任何文档缺少任何功能,并且每个文档至少有一个与其相关的标签
clf = RandomForestClassifier(n_estimators=20).fit(X_train,y_train)
preds = clf.predict(X_test)
然而,我注意到,在预测之后,有些样本没有被分配标签,即使这些样本没有丢失标签数据。
>>> y_test[0,:]
array([1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0])
>>> preds[0,:]
array([ 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,
0., 0., 0., 0., 0., 0., 0., 0.])
predict_proba的结果与predict的结果一致。
>>> probas = clf.predict_proba(X_test)
>>> for label in probas:
>>> print (label[0][0], label[0][1])
(0.80000000000000004, 0.20000000000000001)
(0.94999999999999996, 0.050000000000000003)
(0.94999999999999996, 0.050000000000000003)
(1.0, 0.0)
(1.0, 0.0)
(1.0, 0.0)
(0.94999999999999996, 0.050000000000000003)
(0.90000000000000002, 0.10000000000000001)
(1.0, 0.0)
(1.0, 0.0)
(0.94999999999999996, 0.050000000000000003)
(1.0, 0.0)
(0.94999999999999996, 0.050000000000000003)
(0.84999999999999998, 0.14999999999999999)
(0.90000000000000002, 0.10000000000000001)
(0.90000000000000002, 0.10000000000000001)
(1.0, 0.0)
(0.59999999999999998, 0.40000000000000002)
(0.94999999999999996, 0.050000000000000003)
(0.94999999999999996, 0.050000000000000003)
(1.0, 0.0)
上面的每个输出都表明,对于每个标签,没有出现的标签具有更高的边际概率。我对决策树的理解是,在预测时,每个样本必须至少分配一个标签,所以这让我有点困惑。
多标签决策树/随机林是否能够为样本不分配标签?
更新1
每个文档的特征是根据主题模型属于某个主题的概率。
>>>X_train.shape
(99892L, 50L)
>>>X_train[3,:]
array([ 5.21079651e-01, 1.41085893e-06, 2.55158446e-03,
5.88421331e-04, 4.17571505e-06, 9.78104112e-03,
1.14105667e-03, 7.93964896e-04, 7.85177346e-03,
1.92635026e-03, 5.21080173e-07, 4.04680406e-04,
2.68261102e-04, 4.60332012e-04, 2.01803955e-03,
6.73533276e-03, 1.38491129e-03, 1.05682475e-02,
1.79368409e-02, 3.86488757e-03, 4.46729289e-04,
8.82488825e-05, 2.09428702e-03, 4.12810745e-02,
1.81651561e-03, 6.43641626e-03, 1.39687081e-03,
1.71262909e-03, 2.95181902e-04, 2.73045908e-03,
4.77474778e-02, 7.56948497e-03, 4.22549636e-03,
3.78891036e-03, 4.64685435e-03, 6.18710017e-03,
2.40424583e-02, 7.78131179e-03, 8.14288762e-03,
1.05162547e-02, 1.83166124e-02, 3.92332202e-03,
9.83870257e-03, 1.16684231e-02, 2.02723299e-02,
3.38977762e-03, 2.69966332e-02, 3.43221675e-02,
2.78571022e-02, 7.11067964e-02])
标签数据是使用MultiLabelBinarizer格式化的,看起来像:
>>>y_train.shape
(99892L, 21L)
>>>y_train[3,:]
array([0, 1, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0])
更新2
上面predict_proba的输出表明,没有类的分配可能是树对标签进行投票的产物(有20棵树,所有概率大约是0.05的倍数)。然而,使用单个决策树,我仍然发现有些样本没有分配标签。输出看起来类似于上面的predict_proba,因为对于每个样本,都有一个给定标签被分配或不被分配给样本的概率。这似乎表明,在某个时候,决策树正在将问题转化为二元分类,尽管文档中说决策树利用了标签相关性。
如果训练和测试数据的比例不同,或者从不同的分布中提取,则可能发生这种情况(例如,如果树学会了对训练中出现但测试中没有出现的值进行拆分)。
你可以检查树木,试图更好地了解发生了什么。要做到这一点,请查看clf.esticults_中的DecisionTreeClassifier实例,并可视化它们的.tree_属性(例如,使用sklearn.tree.export_graphviz())