特遣部队.带外部产品的GradientTape返回None

Question

我试图在计算损失函数之前对模型的预测进行后处理，因为我的真实数据(y_train)是NN输出的外部乘积。我遵循了以下步骤:

1. 我知道我正在尝试使用numpy做的操作是:

nX = 201
nT = 101
nNNout = nX+nT
nBatch = 32
NNout = np.random.rand(nBatch, nNNout)
f = NNout[:, :nX]
g = NNout[:,nX:]
test = np.empty([nBatch, nX*nT])
for i in range(nBatch):
test[i,:] = np.outer(f[i,:], g[i,:]).flatten('F')

，其中NN输出包含f和g。我实际需要的是每个批处理实例f和g的外积的矢量化版本。

2. 我把它翻译成一个紧凑的张量流操作:

test2 = tf.Variable([tf.reshape(tf.transpose(tf.tensordot(f[i,:],g[i,:], axes=0)),[nX*nT]) for i in range(nBatch)])

，我检查了它是正确的，并且输出的值与步骤1相同。

3. 然后，我只是想在我的模型预测后添加此操作:

n_epochs = 20
batch_size = 32
n_steps = len(x_train) // batch_size
optimizer = keras.optimizers.Nadam(learning_rate=0.01)
loss_fn = keras.losses.mean_squared_error
mean_loss = keras.metrics.Mean()
metrics = [keras.metrics.MeanAbsoluteError()]
# ------------ Training ------------
for epoch in range(1, n_epochs + 1):
print("Epoch {}/{}".format(epoch, n_epochs))
for step in range(1, n_steps + 1):
X_batch, y_batch = random_batch(x_train, np.array(y_train))
with tf.GradientTape() as tape:
y_pred = model(X_batch, training=True)
u_pred = tf.Variable([tf.reshape(tf.transpose(tf.tensordot(y_pred[i, :nX], y_pred[i, nX:], axes=0)), [nX * nT]) for i in
range(batch_size)])
main_loss = tf.reduce_mean(loss_fn(y_batch, u_pred))
loss = tf.add_n([main_loss] + model.losses)
gradients = tape.gradient(loss, model.trainable_variables) 

我的主要问题是，当我添加操作时，梯度变成了一个none列表。如果我简单地用模型的预测(y_pred)计算损失函数，代码就能够计算出梯度。

你能帮我找出我在这里犯的错误吗?

Answer 1

您正在u_pred中创建一个新的(可训练的)变量，从而打破u_pred对y_pred的任何依赖。值匹配的原因是因为初始化了您的新变量与预测，但它没有函数彼此依赖，没有梯度流动。

我猜你那样做是因为你需要一个tf。张量，而不是列表，最后会出现输入错误。您可能希望使用tf.concatenate而不是tf.Variable行之间的内容。