我正在尝试使用sklearn DecisionTreeClassifier中的"tree_"方法提取最深节点的规则。我很难理解"children_left"one_answers"children_right"数组在模型中的含义。有人能帮忙解释一下吗?
estimator = DecisionTreeClassifier(max_depth=4, random_state=0)
estimator.fit(X_train, y_train)
estimator.tree_.children_left
[6] array([ 1, 2, 3, 4, 5, -1, -1, 8, -1, -1, 11, 12, -1, -1, 15, -1, -1,
18, 19, 20, -1, -1, 23, -1, -1, 26, 27, -1, -1, 30, -1, -1, 33, 34,
35, 36, -1, -1, 39, -1, -1, 42, 43, -1, -1, 46, -1, -1, 49, 50, 51,
-1, -1, 54, -1, -1, 57, 58, -1, -1, 61, -1, -1])
tree_model.tree_.children_right
[7] array([32, 17, 10, 7, 6, -1, -1, 9, -1, -1, 14, 13, -1, -1, 16, -1, -1,
25, 22, 21, -1, -1, 24, -1, -1, 29, 28, -1, -1, 31, -1, -1, 48, 41,
38, 37, -1, -1, 40, -1, -1, 45, 44, -1, -1, 47, -1, -1, 56, 53, 52,
-1, -1, 55, -1, -1, 60, 59, -1, -1, 62, -1, -1])
在Sklearn的例子中,http://scikit-learn.org/stable/auto_examples/tree/plot_unveil_tree_structure.html,上面写着:
`# The decision estimator has an attribute called tree_ which stores the entire
# tree structure and allows access to low level attributes. The binary tree
# tree_ is represented as a number of parallel arrays. The i-th element of each
# array holds information about the node `i`. Node 0 is the tree's root. NOTE:
# Some of the arrays only apply to either leaves or split nodes, resp.`
但它并不能解释children _ left数组中数字的含义
from sklearn.datasets import load_iris
from sklearn import tree
iris = load_iris()
clf = tree.DecisionTreeClassifier()
clf = clf.fit(iris.data, iris.target)
children_left = clf.tree_.children_left
print (children_left)
它打印:
[ 1 -1 3 4 5 -1 -1 8 -1 10 -1 -1 13 14 -1 -1 -1]
你可以在谷歌上找到虹膜数据上的17节点决策树。看看它,并将其与解释进行比较。
现在的解释是:
- 它只表示节点的左子节点
- 如果值为-1,则表示该节点没有左节点。然后它就是那个决策树的叶节点。在这里我们可以看到有9个叶节点
- 如果该值>0,则它已离开节点。因此,它不是叶节点。这里的8个节点不是叶节点。
- 根有一个左节点。是1
- 现在1没有任何左节点。所以它是叶节点。因此,-1.如果一个节点没有左节点,也可以将节点计数增加到1。所以现在节点计数是2
- 现在我们回溯到根。然后我们转到根的右节点。它有左节点。现在节点计数为3
- 节点3具有另一个左节点。节点计数4
- 节点4具有另一个左节点。节点数5
- 节点5没有任何左节点。所以它是叶子,显示-1。但现在节点数是6
- 我们回溯到节点4。我们去它的权利孩子。再说一遍,它没有留下任何孩子。所以它是叶子,显示-1。节点数7
- 我们再次回到节点3。我们去它的权利孩子。此节点已离开节点。所以现在节点数是8
继续。希望你能理解。
来自帖子:https://github.com/scikit-learn/scikit-learn/blob/4907029b1ddff16b111c501ad010d5207e0bd177/sklearn/tree/_tree.pyx
children_left : array of int, shape [node_count]
children_left[i] holds the node id of the left child of node i.
For leaves, children_left[i] == TREE_LEAF. Otherwise,
children_left[i] > i. This child handles the case where
X[:, feature[i]] <= threshold[i].
children_right : array of int, shape [node_count]
children_right[i] holds the node id of the right child of node i.
For leaves, children_right[i] == TREE_LEAF. Otherwise,
children_right[i] > i. This child handles the case where
X[:, feature[i]] > threshold[i].
只是向您展示一个可视化决策树的小技巧。你可以在你选择的绘图函数中指定一个参数node_ids=True(在我的例子中是export_graphviz),它会在你的树的图像上显示节点ID!
export_graphviz(clf, out_file=dot_data, node_ids=True,
filled=True, rounded=True,
special_characters=True,feature_names = feature_cols,class_names=['0','1'])
Iris_plot
!!!:)