作为一名工程师,我在遵循关于如何构建数据集的TF文档时遇到了麻烦。
我收集了一个带有标签的句子数据集,我想把它变成一个类似于IMDB数据集的TF数据集。
列表如下:
LIST=[('text1',0),('text2',1),('text3',1),('text4',0),...]
列表中大约有100000个元素,并且有两个可能的标签0-1。
我的任务是建立一个模型,将给定的句子与单个标签0-1配对,就像IMDB评论的基本TF示例一样。
我想我不需要任何其他东西来构建数据集。我错了吗?
如何将此列表转换为TF数据集?
我将感谢的任何指导
工作样本代码
import tensorflow as tf
LIST=[('text1',0),('text2',1),('text3',1),('text4',0)]
text = [x[0] for x in LIST]
label = [x[1] for x in LIST]
dataset = tf.data.Dataset.from_tensor_slices(text)
for element in dataset:
print(element)
输出:
tf.Tensor(b'text1', shape=(), dtype=string)
tf.Tensor(b'text2', shape=(), dtype=string)
tf.Tensor(b'text3', shape=(), dtype=string)
tf.Tensor(b'text4', shape=(), dtype=string)