Keras model.fit 在模型训练期间，缓冲数据在 google colab 中被截断

Question

使用 Keras.model.fit 训练模型时，我在输出中遇到"达到输出大小限制后缓冲数据被截断"，并且输出不再更新。

Epoch 14/30
51/721 [=>............................] - ETA: 27s - loss: 0.7874 - dense_6_loss: 0.4921 - dense_7_loss: 0.1440 - dense_8_loss: 0.1513 - dense_6_accuracy: 0.8556 - dense_7_accuracy: 0.9532 - dense_8_accuracy: 0.9511Buffered data was truncated after reaching the output size limit.

这似乎是某种内存错误 缓冲数据在达到输出大小限制后被截断

即使文本量保持不变。

Answer 1

我也在epochs=100和batch_size=1方面遇到了同样的问题。当我将 keras 详细程度设置为 2 时，问题就解决了。为了保存您在stdout获得的学习结果，您可以简单地使用如下所示的logger：

from keras.callbacks import CSVLogger
csv_logger = CSVLogger(
"log.csv",
append=True,
separator=','
)
history = model.fit(
x_train,
y_train,
batch_size=batch_size,
epochs=epochs,
verbose=2,
validation_data=(x_test, y_test),
callbacks=[csv_logger]
)