将可变长度张量的集合保存到TensorFlow中的TfreCords文件中

Question

我正在尝试将不同长度的张量列表保存到tfrecords文件中，以便以后可以轻松加载它们。有问题的张量是整数的一维阵列。

这样做的原因是张量是处理大型文本文件的结果。该文件非常大，处理速度很慢，因此我不想每次运行算法时都重复该步骤。我最初想到将文本文件加载到常规的python列表或numpy阵列中，然后腌制，但是从这些列表到张量的转换本身需要很长时间，所以我不想每次我都需要等待运行我的脚本。看来张量无法直接腌制，即使对此有一些解决方法，我的印象是tfrecords是节省张量数据的"正确"方法。

但是，我不确定如何将张量正确保存到tfrecords文件中，然后将它们作为张量加载。我确实通过了TensorFlow教程，其中将MNIST数据保存到TfreCords文件，然后加载，但是在此和我的用例之间存在一些区别。

以下是旨在复制我在更简单的情况下遇到的问题的代码块。

import tensorflow as tf
def _int64_list_feature(values):
   return tf.train.Feature(int64_list=tf.train.Int64List(value=values))
filename = "/Users/me/tensorflow/test.tfrecords"
writer = tf.python_io.TFRecordWriter(filename)
example = tf.train.Example(features=tf.train.Features(feature={'datalist': _int64_list_feature([2,3])}))
writer.write(example.SerializeToString())
example = tf.train.Example(features=tf.train.Features(feature={'datalist': _int64_list_feature([8,5,7])}))
writer.write(example.SerializeToString())
writer.close()

前几行是标准线。我将两个1-D张量写入tfrecords文件，一个长度为2，一个长度为3。

def read_my_file(filename_queue):
    reader = tf.TFRecordReader()
    _, serialized_example = reader.read(filename_queue)
    features = tf.parse_single_example(serialized_example, features={'datalist': tf.VarLenFeature(tf.int64), })
    datalist = features['datalist']
    return datalist

似乎应该使用的辅助功能。我不是100％确定为什么需要这是必要的，但是如果不编写它，我无法使它工作，并且所有示例都有类似的东西。就我而言，数据是未标记的，因此我没有标签变量。

filename_queue = tf.train.string_input_producer([filename], 2)
datalists = read_my_file(filename_queue)
datalists_batch = tf.train.batch([datalists], batch_size=2)

示例中更多的"样板" - 风格的代码。批次大小为2，因为我在此代码中只有2个示例。

datalists_batch现在将是一个稀疏张量，其中包含我的向量[2, 3]和[8, 5, 7]，这是第二个上方的第一个。因此，我想将它们分成单个张量。在这一点上，我已经担心这可能也很长，因为在我的真实代码中，有超过100,000个单独的张量可以分开。

split_list = tf.sparse_split(0, 2, datalists_batch)
sp0 = split_list[0]
sp1 = split_list[1]
sp0_dense = tf.sparse_tensor_to_dense(sp0)
sp1_dense = tf.sparse_tensor_to_dense(sp1)
sp0_dense = tf.squeeze(sp0_dense)
sp1_dense = tf.squeeze(sp1_dense)

split_list现在是单个张量的列表，仍处于稀疏格式（所有的长度等于最长张量的长度，在这种情况下为3。它们也与其他维度1二维1，因为datalists_batch张量为2D）。现在，我必须操纵张量以使它们达到适当的格式。在实际代码中，我当然会使用一个循环，但是在这种情况下只有2个示例。首先，我将它们转换为密集的张量。但是，在sp0的情况下，这填充了0的最后一个索引，因为该张量具有长度3。（下面讨论了此问题。1x3。

最后，我需要从 sp0删除尾部零。这部分给了我困难。我不知道某个特定张量有多少个尾随零。它等于最长张量的长度减去张量的长度，但是我不知道张量的"真实"长度而不查看稀疏索引，但是如果不评估" temp"张量，我无法访问它（由于指数本身是张量）。

indices_0 = sp0.indices
indices_1 = sp1.indices
indices0_size = tf.shape(indices_0)
indices1_size = tf.shape(indices_1)

这些对于上述切片操作是必需的。

sess = tf.Session()
init_op = tf.initialize_all_variables()
sess.run(init_op)
coord = tf.train.Coordinator()
threads = tf.train.start_queue_runners(sess=sess, coord=coord)

初始化。

sp0_fixed = tf.slice(sp0_dense, [0], [sess.run(indices0_size[0])])
sp1_fixed = tf.slice(sp1_dense, [0], [sess.run(indices1_size[0])])
sess.run(sp0_fixed)
sess.run(sp1_fixed)

这就是我这样做的方式。问题是，在运行最后三个命令时，我会遇到奇怪的错误。我推测问题是我在Sess.run已经被调用后（在sp0_fixed行中）创建了新的操作，因此该图是同时运行的。我想我只应该运行一次。但是，这使我无法弄清楚将每个张量的切片（以删除落后零）的适当索引。因此，我不知道下一步该怎么做。

我在Google，TensorFlow文档和Stackoverflow上如何执行此类操作（保存和加载变量长度张量），这一点都没有任何帮助。我很确定我以错误的方式做到这一点。即使有能力重写最后四行，以便程序的行为正确，代码总体上似乎过于复杂，无法执行非常基本的功能。

我非常感谢任何建议和反馈。

Answer 1

我对Tfrecords没有太多经验，但这是一种使用Tfrecords存储和检索可变长度

的方法

写Tfrecord

# creating a default session we'll use it later 
sess = tf.InteractiveSession( )
def get_writable( arr ):
    """
        this fucntion returns a serialized string 
        for input array of integers
        arr : input array
    """
    arr = tf.train.Int64List( value = arr)
    arr = tf.train.Feature(int64_list= arr )
    arr = tf.train.Features(feature =  { 'seqs': arr})
    arr = tf.train.Example( features = arr)
    return arr.SerializeToString()

filename = "./test2.tfrecords"
writer = tf.python_io.TFRecordWriter(filename)
#writing 3 different sized arrays 
writer.write( get_writable([1,3,5,9]))
writer.write( get_writable([2,7,9]))
writer.write( get_writable([3,4,6,5,9]))
writer.close()

将阵列写入'test2.tfrecord'

阅读文件

##Reading from the tf_record file 
## creating a filename queue 
reader = tf.TFRecordReader( )
filename_queue = tf.train.string_input_producer(['test2.tfrecords'])
##getting the reader 
_, ser_ex = reader.read(filename_queue, )
##features that you want to extract 
read_features = {
    'seqs' : tf.VarLenFeature(dtype = tf.int64)
}
batchSize  = 2
# before parsing examples you must wrap it in tf.batch to get desired batch size  
batch = tf.train.batch([ser_ex], batch_size= batchSize , capacity=10)
read_data = tf.parse_example( batch, features= read_features )
tf.train.start_queue_runners( sess) 
# starting reading queues are requred before reding the data  

现在我们准备阅读Tfrecord文件的内容

batches = 3
for _ in range(batches):
    #get the next sparse tensor of shape (batchSize X elements in the largest array ) 
    #every time you invoke read_data.values()
    sparse_tensor = (list(read_data.values())[0]).eval()
    # as the batch size is larger than 1 
    # you'd want seperate lists that you fed 
    #at the time of writing the tf_record file 
    for i in tf.sparse_split(axis=  0, num_split=batchSize, sp_input= sparse_tensor  ):
        i = i.eval()
        shape =  [1, (i).indices.shape[0]] 
        #getting individual shapes of different sparse tensors  
        tens = tf.sparse_to_dense(sparse_indices=i.indices ,sparse_values= i.values , output_shape= shape) 
        #converting them into dense tensors
        print(tens.eval()) 
        #evaluating the final Dense Tensor 

查看这篇文章，很棒的解释是开始使用tfrecords