Keras可以像tensorflow Dataset一样预取数据吗?

Question

在 TensorFlow 的数据集 API 中，我们可以在 GPU 处理当前批次的数据时使用dataset.prefetch(buffer_size=xxx)来预加载其他批次的数据，因此，我可以充分利用 GPU。

我将使用 Keras，并想知道keras是否有类似的 API 供我充分利用 GPU，而不是串行执行：读取批处理 0->进程批处理 0->读取批处理 1-> 处理批处理 1-> ...

我简要浏览了kerasAPI，但没有看到预取的说明。

Answer 1

如果您使用workers> 1 调用fit_generator，use_multiprocessing=True，它将预取queue_size批次。

来自文档： max_queue_size：整数。生成器队列的最大大小。如果未指定，max_queue_size将默认为 10。