如何使用 Keras(张量流)限制神经网络回归中预测输出的总和

Question

我正在用keras(python，后端：tensorflow(训练神经网络作为回归。因此，我的输出层不包含激活函数，我使用均方误差作为我的损失函数。

我的问题是：我想确保所有输出估计值的总和(几乎(等于所有实际标签的总和。

我的意思是：我想确保不仅每个训练示例 i 的 (y_real(^i ~ (y_predict(^i，而且还保证 sum(y_real( = sum(y_predict(，对所有 i 求和。 正则线性回归使得添加此限制变得足够简单，但我没有看到神经网络的任何类似内容。我可以将最终结果乘以 sum(y_real(/sum(y_predict(，但如果我不想伤害不受欢迎的预测，恐怕这不是理想的方法。

我还有哪些其他选择？

(我无法共享我的数据，也无法轻松地使用不同的数据重现问题，但这是按要求使用的代码：(

from keras.models import Sequential
from keras.layers import Dense
model = Sequential()
model.add(Dense(128, activation = 'relu', input_dim = 459))
model.add(Dense(32, activation = 'relu'))
model.add(Dense(1))
model.compile(loss = 'mean_squared_error',
optimizer = 'adam')
model.fit(X_train, Y_train, epochs = 5, validation_data = (X_val, 
Y_val), batch_size = 128)

Answer 1

从优化的角度来看，您希望为问题引入相等约束。您正在寻找网络权重，以便预测y1_hat, y2_hat and y3_hat最小化标签y1, y2, y3的均方误差。此外，您希望以下内容保持不变：

sum(y1, y2, y3) = sum(y1_hat, y2_hat, y3_hat)

由于您使用神经网络，因此您希望以仍可以使用反向传播来训练网络的方式施加此约束。

一种方法是在损失函数中添加一个项，以惩罚sum(y1, y2, y3)和sum(y1_hat, y2_hat, y3_hat)之间的差异。

最小工作示例：

import numpy as np
import keras.backend as K
from keras.layers import Dense, Input
from keras.models import Model
# Some random training data and labels
features = np.random.rand(100, 20)
labels = np.random.rand(100, 3)
# Simple neural net with three outputs
input_layer = Input((20,))
hidden_layer = Dense(16)(input_layer)
output_layer = Dense(3)(hidden_layer)
# Model
model = Model(inputs=input_layer, outputs=output_layer)
# Write a custom loss function
def custom_loss(y_true, y_pred):
# Normal MSE loss
mse = K.mean(K.square(y_true-y_pred), axis=-1)
# Loss that penalizes differences between sum(predictions) and sum(labels)
sum_constraint = K.square(K.sum(y_pred, axis=-1) - K.sum(y_true, axis=-1))
return(mse+sum_constraint)
# Compile with custom loss
model.compile(loss=custom_loss, optimizer='sgd')
model.fit(features, labels, epochs=1, verbose=1)

请注意，这以"软"方式而不是硬约束强加约束。你仍然会得到偏差，但网络应该以这样的方式学习权重，这些权重会很小。