如何通过使用keras评估多类分类的结果

Question

我想将深度学习用于多类分类（SoftMax，keras）。因此，我构建了模型，然后得到了错误，这是关于预期的输出形状，实际输出形状不同。在我的情况下，类型为1,2,3，因此预期的形状为3（3类），但实际形状为4。在更改1,2,3至0,1,2或设定的预期形状时，该错误已解决。到4.后者意味着将3个类别的分类更改为4个类分类。为什么此代码正在运行？在这种情况下，什么意味着预测概率？我如何评估这些结果？

这是示例代码。

from sklearn import datasets
iris = datasets.load_iris()
# X -> features, y -> label
X = iris.data
y = iris.target
mini_dict = {0: 'a', 1: 'b', 2: 'c'}
y = pd.Series(y, name=None).replace(mini_dict)
mini_dict = {'a': 3, 'b': 1, 'c': 2}
y = pd.Series(y, name=None).replace(mini_dict)
def multiclass_model():
    model = Sequential()
    model.add(Dense(10,input_dim=4))
    model.add(Dropout(0.1))
    model.add(Dense(3,activation='softmax')) #this is expected shape
    model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy','categorical_accuracy'])
    return (model)
model=KerasClassifier(build_fn=multiclass_model, epochs=20, batch_size=3, verbose=0)
model.fit(X,y.values)

并获取此错误。

Error when checking model target: expected dense_94 to have shape (None, 3) but got array with shape (150, 4)

和下一个重新定义Multiclass_model

def multiclass_model():
    model = Sequential()
    model.add(Dense(10,input_dim=4))
    model.add(Dropout(0.1))
    model.add(Dense(4,activation='softmax')) #change 3 to 4
    model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy','categorical_accuracy'])
    return (model)
model=KerasClassifier(build_fn=multiclass_model, epochs=20, batch_size=3, verbose=0)
model.fit(X,y.values)

没有错误，我可以得到预测的值。

model.predict_proba(X[0:5])
array([[2.52738446e-05, 2.23150160e-02, 3.87168024e-04, 9.77272570e-01],
       [5.91093449e-05, 4.23159041e-02, 1.24582055e-03, 9.56379175e-01],
       [5.94217017e-05, 3.10160406e-02, 7.65587494e-04, 9.68158960e-01],
       [1.07116306e-04, 4.50214930e-02, 1.48290978e-03, 9.53388453e-01],
       [2.73615278e-05, 2.02178583e-02, 3.34151875e-04, 9.79420602e-01]],
      dtype=float32)
y.values[:5]
array([3, 3, 3, 3, 3])

我不知道这些值的可靠性。

检查类的数量

np.unique(y.values)
array([1, 2, 3])

Answer 1

当您要进行多类分类时，您需要在标签向量上执行one-hot encoding。由于您的y.values输出，我假设您的y看起来像该[1,2,3,2...]。但是TensorFlows KerasClassifier可以解决这个问题，可以在源代码中看到。（源），因此您的标签将变成类似于此[[0],[1],[2],[1],...]的东西。在下一步中，这些标签将是one-hot编码，也可以在源代码中看到。（源）现在您的标签看起来像该[[1,0,0],[0,1,0],[0,0,1],[0,1,0]]。

因此，从我的理解中，如果您仅在输出层中使用3类，而不是4个。

因此，再次使用np.unique(y.values)检查标签数据y。我的猜测是您意外创建了一个包含[0,1,2,3]的标签向量。