试图将 auc-roc 分数添加到 CNN 训练中

Question

我目前的CNN具有相对较高的准确性，但AUC分数较低，因此我想同时考虑准确性和auc来训练我的模型。但是，当我尝试添加"auc"作为第二个要训练的指标时，我无法开始我的 epoch。

这是我收到的错误消息：

失败前提条件错误：从容器：本地主机读取资源变量 conv2d_4/内核时出错。这可能意味着变量未初始化。未找到：资源本地主机/conv2d_4/内核/N10tensorflow3VarE 不存在。 [[{{node conv2d_4/Conv2D/ReadVariableOp}}]]

我已经尝试了之前讨论中提供的函数auc。抱歉，我现在找不到该帖子。

from keras import backend as K
def auc(y_true, y_pred):
    auc = tf.metrics.auc(y_true, y_pred)[1]
    K.get_session().run(tf.local_variables_initializer())
    return auc
auc_model = models.Sequential()
auc_model.add(layers.Conv1D (kernel_size = (200), filters = 10, input_shape=(1644,1) , activation='relu'))
auc_model.add(layers.MaxPooling1D(pool_size = (50), strides=(10)))
auc_model.add(layers.Reshape((40, 35, 1)))
auc_model.add(layers.Conv2D(16, (3, 3), activation='relu'))
auc_model.add(layers.Conv2D(16, (3, 3), activation='relu'))
auc_model.add(layers.MaxPooling2D((2, 2)))
auc_model.add(layers.Flatten())
auc_model.add(layers.Dense(32, activation='relu', kernel_regularizer=keras.regularizers.l2(0.001)))
auc_model.add(layers.Dropout(rate=0.2))
auc_model.add(layers.Dense(1, activation='sigmoid'))
auc_model.compile(optimizer='adam',
                       loss='binary_crossentropy',
                       metrics=['accuracy', auc])
auc_model.summary()

from tensorflow.keras.callbacks import EarlyStopping
target = y_tr.columns[0]
rows_tr = np.isfinite(y_tr[target]).values
rows_te = np.isfinite(y_te[target]).values
x_train = x_tr[rows_tr].reshape((x_tr[rows_tr].shape[0], 1644, 1))
x_test = x_te[rows_te].reshape((x_te[rows_te].shape[0], 1644, 1))
auc_model.fit( x_train, y_tr[target][rows_tr], 
              validation_data=(x_test, y_te[target][rows_te]), epochs = 5)
print('n# Evaluate on test data')
results = auc_model.evaluate(x_test, y_te[target][rows_te], batch_size = 8, verbose=1)
I want to start my training process considering both accuracy and auc score. Thanks.

Answer 1

指标仅用于报告每个时期对训练模型的评估。它不会改变您的训练中的任何内容。

如果你想让你的模型也考虑AUC，你应该修改你的损失。最大限度地减少binary_crossentropy损失，自然可以在不考虑AUC的情况下最大限度地提高精度。当您有一个不平衡的数据集(例如一个偏斜的类(时，这使得它更加成问题。

如果你真的只想要它用于指标，你可以看看这篇文章：如何在keras中计算接收工作特征(ROC(和AUC？

但是，如果你真的希望你的模型最大化AUC，你应该在Keras上编写一个自定义损失函数，并将其放在模型的损失中。这里有一个很好的讨论：https://www.kaggle.com/c/invasive-species-monitoring/discussion/32762