Tensorflow csv 数据集使用情况

Question

我有一个具有以下格式和数据的csv文件：

ID  nr1 nr2 nr3 nr4 nr5 next_nr
1   1   2   3   4   5   6
2   2   3   4   5   6   7
3   3   4   5   6   7   8
4   4   5   6   7   8   9
5   5   6   7   8   9   10
6   6   7   8   9   10  11
7   7   8   9   10  11  12
8   8   9   10  11  12  13
9   9   10  11  12  13  14
10  10  11  12  13  14  15

因此，有 10 行包括我的火车数据。我想使用 tf.contrib.data.CsvDataset 来读取数据。下面是用于读取它的示例代码：

import tensorflow as tf
import numpy as np
ITERATOR_BATCH_SIZE = 2
NR_EPOCHS = 3
train1_path = 'train1_short.csv'
dataset = tf.contrib.data.CsvDataset(train1_path,
[tf.float32, tf.float32, tf.float32, tf.float32, tf.float32, tf.float32, tf.float32],
header=True)
dataset = dataset.batch(ITERATOR_BATCH_SIZE)
with tf.Session() as sess:
for i in range (NR_EPOCHS):
print('nepoch: ', i)
iterator = dataset.make_one_shot_iterator()
next_element = iterator.get_next()
while True:            
try:
data_and_target = sess.run([next_element])
except tf.errors.OutOfRangeError:
break
print("nn", data_and_target)

当我运行此代码时，我希望输出在每个批处理中包含 2 行数据。但我得到的数据看起来很奇怪。以下是第一个纪元的输出：

epoch:  0

[(array([1., 2.], dtype=float32), array([1., 2.], dtype=float32), array([2., 3.], dtype=float32), array([3., 4.], dtype=float32), array([4., 5.], dtype=float32), array([5., 6.], dtype=float32), array([6., 7.], dtype=float32))]

[(array([3., 4.], dtype=float32), array([3., 4.], dtype=float32), array([4., 5.], dtype=float32), array([5., 6.], dtype=float32), array([6., 7.], dtype=float32), array([7., 8.], dtype=float32), array([8., 9.], dtype=float32))]

[(array([5., 6.], dtype=float32), array([5., 6.], dtype=float32), array([6., 7.], dtype=float32), array([7., 8.], dtype=float32), array([8., 9.], dtype=float32), array([ 9., 10.], dtype=float32), array([10., 11.], dtype=float32))]

[(array([7., 8.], dtype=float32), array([7., 8.], dtype=float32), array([8., 9.], dtype=float32), array([ 9., 10.], dtype=float32), array([10., 11.], dtype=float32), array([11., 12.], dtype=float32), array([12., 13.], dtype=float32))]

[(array([ 9., 10.], dtype=float32), array([ 9., 10.], dtype=float32), array([10., 11.], dtype=float32), array([11., 12.], dtype=float32), array([12., 13.], dtype=float32), array([13., 14.], dtype=float32), array([14., 15.], dtype=float32))]

相反，我会 - 例如 - 期望第一批像以下内容：

[(array([1., 1., 2., 3., 4., 5., 6], dtype=float32), array([2., 2., 3., 4., 5., 6., 7.], dtype=float32)]

这个问题可能非常微不足道，但我只是不明白为什么它看起来像这样。也许该领域更有经验的人可以立即看到它。

Answer 1

CsvDatset的每个记录都必须转换为张量。让我知道这是否适合您：

dataset = tf.contrib.data.CsvDataset(train1_path,
[tf.float32, tf.float32, tf.float32, tf.float32, tf.float32, tf.float32, tf.float32],
header=True, field_delim=' ')
dataset = dataset.map(lambda *x: tf.convert_to_tensor(x))
dataset = dataset.batch(ITERATOR_BATCH_SIZE)
with tf.Session() as sess:
for i in range (NR_EPOCHS):
print('nepoch: ', i)
iterator = dataset.make_one_shot_iterator()
next_element = iterator.get_next()
while True:            
try:
data_and_target = sess.run(next_element)
except tf.errors.OutOfRangeError:
break
print("nn", data_and_target)

对于我的测试，我必须设置field_delim参数才能使其正常工作。