使用Keras获得模型输出w.r.t权重的梯度

Question

我对利用Keras API的简单性构建强化学习模型很感兴趣。不幸的是，我无法提取相对于权重的输出梯度(不是误差)。我发现下面的代码执行类似的功能(神经网络的显著性映射(使用Keras))

get_output = theano.function([model.layers[0].input],model.layers[-1].output,allow_input_downcast=True)
fx = theano.function([model.layers[0].input] ,T.jacobian(model.layers[-1].output.flatten(),model.layers[0].input), allow_input_downcast=True)
grad = fx([trainingData])

关于如何计算模型输出相对于每层权重的梯度的任何想法将不胜感激。

Answer 1

要使用Keras获得模型输出相对于权重的梯度，您必须使用Keras后端模块。我创建了这个简单的示例来详细说明该怎么做:

from keras.models import Sequential
from keras.layers import Dense, Activation
from keras import backend as k

model = Sequential()
model.add(Dense(12, input_dim=8, init='uniform', activation='relu'))
model.add(Dense(8, init='uniform', activation='relu'))
model.add(Dense(1, init='uniform', activation='sigmoid'))
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])

为了计算梯度，我们首先需要找到输出张量。对于模型的输出(我最初的问题所要求的)，我们只需调用model.output。我们还可以通过调用model.layers[index].output

来找到其他层的输出梯度。

outputTensor = model.output #Or model.layers[index].output

然后我们需要选择与梯度相关的变量

  listOfVariableTensors = model.trainable_weights
  #or variableTensors = model.trainable_weights[0]

我们现在可以计算梯度。就像下面这样简单:

gradients = k.gradients(outputTensor, listOfVariableTensors)

要实际运行给定输入的梯度，我们需要使用一点Tensorflow。

trainingExample = np.random.random((1,8))
sess = tf.InteractiveSession()
sess.run(tf.initialize_all_variables())
evaluated_gradients = sess.run(gradients,feed_dict={model.input:trainingExample})

就是这样!

Answer 2

下面的答案是交叉熵函数，请随意更改您的函数。

outputTensor = model.output
listOfVariableTensors = model.trainable_weights
bce = keras.losses.BinaryCrossentropy()
loss = bce(outputTensor, labels)
gradients = k.gradients(loss, listOfVariableTensors)
sess = tf.InteractiveSession()
sess.run(tf.global_variables_initializer())
evaluated_gradients = sess.run(gradients,feed_dict={model.input:training_data1})
print(evaluated_gradients)