将张量流数据集转换为包含图像和标签的 2 个数组

Question

我正在使用TensorFlow 2.0，我有一个批处理数据集，其中包含968张图像和每个图像的标签(4个元素数组(：

dataSetSize = allDataSet.reduce(0, lambda x, _: x + 1).numpy()
allDataSet = allDataSet.shuffle(dataSetSize)
allDataSet = allDataSet.map(processPath, num_parallel_calls=tf.data.experimental.AUTOTUNE)
allDataSet = allDataSet.batch(10)
predictions = loadedModel.predict(allDataSet)
onlyImages = # how to create this?
onlyLabels = # how to create this?
# the 'map' function in my dataset returns a batch of images and their corresponding labels
for idx, (imageBatch, labelBatch) in enumerate(allDataSet) :
# how to concatenate batches together?
onlyImages = # ?
onlyLabels = # ?

我需要将此数据集分成两个 numpy 数组。第一个数组应仅包含 968 个图像(形状：(968， 299， 299， 3((，第二个数组应包含 968 个标签(形状：(968， 4((。 我该怎么做？

我在这里检查了一个类似的问题，但这些示例似乎使用的是 Tensorflow 1.x 并且由不同的输入类型组成？

数据集大小和类型：

dataset size:  968
<DatasetV1Adapter shapes: ((None, 299, 299, 3), (None, 4)), types: (tf.float32, tf.float32)

Answer 1

如果我很好地理解你的问题，你现在需要做的是在迭代数据集时连接到一个numpy数组。请注意，在迭代期间，如果应用.numpy()操作，则会自动从tf.tensor转换为np.array。

因此，您可以使用以下选项：

1. 根据文档，

   a = np.array([[1, 2], [3, 4]])
   b = np.array([[5, 6]])
   np.concatenate((a, b), axis=0)
   

   输出为：

   array([[1, 2],
   [3, 4],
   [5, 6]])
   

   因此，在您的代码中，定义一个初始空 numpy 数组，您将 concatenate， onaxis=0(with imageBatch 和 labelBatch(。

2. 或者您可以使用np.vstack(np.concatenate在引擎盖下使用np.vstack(来提供相同的结果。