我正在处理Tensorflow中的大量数据。
一种方法是定义占位符,然后通过我自己定义的函数在图形之外读取我的数据,例如队列并将批处理每次馈送到占位符中。
另一种方法是使用 Tensorflow 中与记录器相关的内置类直接将数据作为张量读取。
我搜索了一下,但没有找到两者之间的任何相关比较。有没有人知道他们的优势和劣势,尤其是效率?使用张量流时,你们更喜欢哪一个?
在 Tensorflow 中读取数据的不同方法在这里比较和讨论,更多比较在这里
tfrecord
允许以块为单位读取数据,因此您可以处理超出 RAM 容量的数据。也可以这样排列,即使用tf.Coordinator
和start_queue_runners
读取数据。更多信息可以在这里找到