Tensorflow Keras: Training Holting on model.fit()

Question

我是tensorflow和python的新手，所以我确定这只是一些愚蠢的东西。但是当我尝试使用 model.fit(( 训练我的模型时，经过随机次数的训练迭代后，它会冻结。GPU 使用率为零，并且不会显示任何错误消息来指示错误所在。我正在尝试训练的模型如下：

SizeOfInput = 50
VocabSize = 8000
EmbeddingSize = 200
model = Sequential()
model.add(Embedding(input_dim=VocabSize, output_dim=EmbeddingSize, input_length=SizeOfInput))
model.add(LSTM(256, input_shape=(SizeOfInput, EmbeddingSize), return_sequences=True))
model.add(Dropout(0.1))
model.add(LSTM(256))
model.add(Dropout(0.1))
model.add(Dense(VocabSize, activation='softmax'))
optimizer = tf.keras.optimizers.RMSprop(lr=1e-3, decay=1e-5)
model.compile(loss='categorical_crossentropy', optimizer=optimizer)

张量流：2.2.0

蟒蛇：3.8

显卡： RTX2080Ti

我正在训练来自更大数据集的 10000 个随机采样序列，每个序列 50 个整数：

model.fit(x, y, batch_size=100, epochs=1)

我真的不知道问题是什么，如果您需要更多信息，请告诉我

Answer 1

1.首先，请在谷歌Colab中尝试您的代码

2.尝试使用其他优化器：

keras.layers.BatchNormalization._USE_V2_BEHAVIOR = False

3.也许有些操作在 CPU 中运行，有些操作在 GPU 中运行。 为了防止它：

with tf.device("/device:GPU:0"):
model.fit(x, y, batch_size=100, epochs=1)

3.更新最新版本

tf-nightly-gpu 
tf-gpu 2.1 cudn 10.2

4.测试这个：

print(tf.version.VERSION, tf.executing_eagerly(), keras.layers.BatchNormalization._USE_V2_BEHAVIOR)
keras.layers.BatchNormalization._USE_V2_BEHAVIOR = False