用图像和标签的数据框创建Tensorflow数据集

Question

我想用tensorflow创建一个数据集，并将图像作为数组(dtype=unit8)和标签作为字符串。图像和相应的标签存储在一个数据框中，列命名为Image as Array和Labels。

tbody> <<tr>

Image as Array (type = Array)	Labels (type = string)
img_1	"ok">
img_2	'不可以'
img_3	"ok">
img_4	"ok">

你可以直接传递一个数据帧给tf.data.Dataset.from_tensor_slices:

import tensorflow as tf
import numpy as np
import pandas as pd

df = pd.DataFrame(data={'images': [np.random.random((64, 64, 3)) for _ in range(100)],
'labels': ['ok', 'not ok']*50})
dataset = tf.data.Dataset.from_tensor_slices((list(df['images'].values), df['labels'].values)).batch(2)
for x, y in dataset.take(1):
print(x.shape, y)
# (2, 64, 64, 3) tf.Tensor([b'ok' b'not ok'], shape=(2,), dtype=string)

一种可能性是使用range创建索引数据集，然后将数组和标签映射在一起。

# array
img = np.random.rand(4, 2, 2, 2)
label = np.array(['ok', 'not ok', 'ok', 'ok'])
# convert to tf constant
img = tf.constant(img)
label = tf.constant(label)
# create dataset with 0 - 3 index
dataset = tf.data.Dataset.range(len(label))
# map dataset
dataset = dataset.map(lambda x: (img[x, :, :, :], label[x]))

输出:

<MapDataset element_spec=(TensorSpec(shape=(2, 2, 2), dtype=tf.float64, name=None), TensorSpec(shape=(), dtype=tf.string, name=None))>

输出列表-秒idx:

for i in dataset:
print(list(i)[1])
tf.Tensor(b'ok', shape=(), dtype=string)
tf.Tensor(b'not ok', shape=(), dtype=string)
tf.Tensor(b'ok', shape=(), dtype=string)
tf.Tensor(b'ok', shape=(), dtype=string)