信息增益与最小化熵

Question

在什么情况下，信息增益的最大化不等于熵的最小化？更广泛的问题是，我们为什么需要信息获取的概念？仅仅使用熵来决定决策树的下一个最优属性是不够的吗？

Answer 1

最大化IG（也称为互信息）往往会提供与最小化熵相同的结果。

基本上，如果你最小化熵，你就迫使信息增益达到最大。