我希望在Keras(如果需要，也可以使用tensorflow)训练一个神经网络，该网络可以预测每场NHL曲棍球比赛中哪三名球员被指定为明星。我的X矩阵由每个球员的标准得分信息组成，例如上场时间，进球，助攻等，目标变量可以是四个类别之一(0 - 不在最佳三，1 - 最佳球员，2 - 第二好球员，3 - 第三好球员)。
到目前为止，这是一个非常标准的问题，香草神经网络在预测玩家被指定为明星的概率方面做得很合理。问题是我想添加一个约束，该约束强制单个游戏中的概率对于类 1、2、3 的总和(在所有玩家中)，同时保持 softmax 约束，即每个玩家的所有类的概率也必须加起来为 1。我注意到条件逻辑回归模型在二元分类中实现了这一目标，但我还没有看到在机器学习框架内实现这一点。
我相信这将需要一个自定义激活函数，Keras 可以实现该功能。但是，我不确定数学/代码的外观。
到目前为止，我运行的示例代码是这样的：
# import packages
import numpy as np
from keras.layers import Dense
from keras.models import Sequential
from keras.optimizers import Adam
# generate data
games, m = 50, 40
X = np.zeros((games * m, 11))
Y = np.zeros((games * m, 4))
for i in range(games):
rowStart, rowEnd = (i) * m, (1 + i) * m
X[rowStart:rowEnd, 0] = i
X[rowStart:rowEnd, 1:] = np.random.rand(m, 10)
for j in range(1, 4):
rowInd = rowStart + np.random.randint(0, m)
while np.sum(Y[rowInd]) != 0.0:
rowInd = rowStart + np.random.randint(0, m)
Y[rowInd, j] = 1
# run model
mod2 = Sequential()
mod2.add(Dense(10, activation='relu', input_shape=(X.shape[1]-1,)))
mod2.add(Dense(6, activation='relu'))
mod2.add(Dense(4, activation='softmax'))
adam = Adam(lr=0.001)
mod2.compile(optimizer=adam, loss='categorical_crossentropy', metrics=['categorical_accuracy'])
hist = mod2.fit(X[:,1:], Y, epochs=10, batch_size=m)
我真的很喜欢你有一个"双向softmax"的想法。对不起，但过了一会儿，我能够证明这样的softmax在一般情况下是不可能的(如果有兴趣，我可以添加一个简化的描述)。
但是，在没有"双向softmax"且不违反您的限制的情况下，还有其他方法可以解决此问题。我建议你使用完整的游戏40名玩家和10个特征作为输入，并将40名玩家中的每一个作为输出进行排名。 与其将每个球员分为 4 个等级，我建议你给每个球员打分(例如 -1 表示不在最佳三名中，0 表示第三好球员，1 表示第二好球员，2 表示最佳球员)。在预测时，您可以选择得分最高的玩家作为最佳球员，第二大玩家作为第二好球员，第三大作为第三好球员，其余的不是最好的三个。 这样你就不会违反你的限制，即每个球员应该得到一个"职业"，并且只有一个球员获得第一、第二和第三名。
请参阅下面的最小工作示例：
# import packages
import numpy as np
from tensorflow.keras.layers import Dense, Input, Flatten#, Reshape
from tensorflow.keras.models import Model
from tensorflow.keras.optimizers import Adam
# generate data
games, m = 50, 40
X = np.zeros((games, m, 11))
Y = np.zeros((games, m))
for i in range(games):
X[i, :, 0] = i
X[i, :, 1:] = np.random.rand(m, 10)
y_indexes = np.arange(m)
np.random.shuffle(y_indexes)
# score players
Y[i,y_indexes[0]] = 2 # best
Y[i,y_indexes[1]] = 1 # second best
Y[i,y_indexes[2]] = 0 # third best
Y[i,y_indexes[3:]] = -1 # not best
# run model
inputs = Input(shape=(m,10)) # -1 as we dont use fist column (game number)
inputs_flatten = Flatten()(inputs)
x = Dense(1024, activation='relu')(inputs_flatten)
x = Dense(512, activation='relu')(x)
x = Dense(256, activation='relu')(x)
outputs = Dense(m, activation=None)(x)
model = Model(inputs = inputs, outputs = outputs)
adam = Adam(lr=0.001)
model.compile(optimizer=adam, loss='mse', metrics=['accuracy'])
hist = model.fit(X[:,:,1:], Y, epochs=20, batch_size=10)
# predict third, second and best players for the first game
# the print number, is the player number
Y_pred = model.predict(X[0:1,:,1:])
print(np.argsort(Y_pred.reshape(-1))[-3:])
#[7 29 19]
# True best players fist game
print(np.argsort(Y[0,:].reshape(-1))[-3:])
#[7 29 19]
请注意，此模型体系结构比建议的此类小数据集(仅 50 个事件，每个游戏一个)更深，节点更多。