如何检查tf.estimator.inputs.numpy_input_fn的内容?



我想在一组数据上反复训练我的张量流图,我想tf.estimator.inputs.numpy_input_fn可能是我正在寻找的。我发现批量大小、重复、纪元和迭代器之间的区别令人难以置信地令人困惑,所以我开始尝试检查数据集的内容,试图弄清楚到底发生了什么。但是,每当我尝试这样做时,我的程序都会挂起。

这是我想出的最小的测试用例来重现它:

import tensorflow as tf
import numpy
class TestMock(tf.test.TestCase):
def test(self):
inputs = numpy.array(range(10))
targets = numpy.array(range(10,20))
input_fn = tf.estimator.inputs.numpy_input_fn(
x=inputs,
y=targets,
batch_size=1,
num_epochs=2,
shuffle=False)
print input_fn()
with self.test_session() as sess:
# sess.run(input_fn()[0]) # it'll hang if I run this
pass
if __name__ == '__main__':
tf.test.main()

此程序输出

(<tf.Tensor 'fifo_queue_DequeueUpTo:1' shape=(?,) dtype=int64>, <tf.Tensor 'fifo_queue_DequeueUpTo:2' shape=(?,) dtype=int64>)

这似乎是合理的,但是一旦我尝试运行该sess.run行,我的程序就会冻结,我必须终止该过程。我在这里做错了什么?

我想做的是确保我输入到流程中的数据实际上是我认为的,但我认为如果没有检查数据的能力,我就无法做到这一点。

从上面的 print 语句中我们可以推断出input_fn返回queue ops,我们需要使用start_queue_runnersCoordinator来运行它们:

features_op, labels_op = input_fn()
with tf.Session() as sess:
# initialise and start the queues.
sess.run(tf.local_variables_initializer())
coordinator = tf.train.Coordinator()
_ = tf.train.start_queue_runners(coord=coordinator)
print(sess.run([features_op, labels_op]))
#[array([0]), array([10])]

最新更新