如何在 TensorFlow2 中制作这样的数据集： <PrefetchDataset shapes： (()， ())， types： (tf.string， tf.string)>

Question

我想在NLP中做翻译时制作自己的数据集。例如,x = ["这是一个苹果"]y = ["这是一个梨"]。如何显示我做一个数据集可以适合" " PrefetchDataset形状:(()，())，类型:(tf。"字符串,tf.string);。

Answer 1

你所需要做的就是用这两个张量创建一个tf.data.Dataset作为from_tensor_slices静态方法的参数。

import tensorflow as tf
x = ["It is an apple"]
y = ["It is a pear"]
xy = tf.data.Dataset.from_tensor_slices((x, y))
print(xy)
>>> <TensorSliceDataset shapes: ((), ()), types: (tf.string, tf.string)>

这对应于您正在查找的数据集签名。您可以使用prefetch方法创建预取数据集:

dataset = xy.prefetch(1)
print(dataset)
>>> <PrefetchDataset shapes: ((), ()), types: (tf.string, tf.string)>