tensorflow模型的多个输入(数据集列表)

Question

我想使用数据集列表作为.fit((函数的输入，但它返回：

ValueError: Failed to find data adapter that can handle input: (<class 'list'> containing values of types {"<class 'tensorflow.python.data.ops.dataset_ops.PrefetchDataset'>"}), <class 'NoneType'>

我发现同样的问题输入多个数据集到tensorflow模型，但我使用的数据超过100gb，它不适合RAM。

所以我无法将预取数据转换为正常的tf张量。我能做什么？

Answer 1

根据文档，它只支持单个tf.data实例。

您可以在使用concatenate之前将它们组合起来，而不是提供多个tf.data.Dataset实例，如下所示。

a = tf.data.Dataset.range(1, 4)  # ==> [ 1, 2, 3 ]
b = tf.data.Dataset.range(4, 8)  # ==> [ 4, 5, 6, 7 ]
ds = a.concatenate(b)