广播并连接不规则张量

Question

我有一个维度为[BATCH_SIZE, TIME_STEPS, EMBEDDING_DIM]的粗糙张量。我想用另一个形状为[BATCH_SIZE, AUG_DIM]的张量的数据来扩充最后一个轴。给定示例的每个时间步长都增加了相同的值。

如果每个例子的张量不是随TIME_STEPS变化而不规则的，我可以简单地用tf.repeat重塑第二个张量，然后使用tf.concat:

import tensorflow as tf

# create data
# shape: [BATCH_SIZE, TIME_STEPS, EMBEDDING_DIM]
emb = tf.constant([[[1, 2, 3], [4, 5, 6]], [[1, 2, 3], [0, 0, 0]]])
# shape: [BATCH_SIZE, 1, AUG_DIM]
aug = tf.constant([[[8]], [[9]]])
# concat
aug = tf.repeat(aug, emb.shape[1], axis=1)
emb_aug = tf.concat([emb, aug], axis=-1)

当emb不规则时，这是不可行的，因为emb.shape[1]是未知的，并且随示例而变化：

# rag and remove padding
emb = tf.RaggedTensor.from_tensor(emb, padding=(0, 0, 0))
# reshape for augmentation - this doesn't work
aug = tf.repeat(aug, emb.shape[1], axis=1)

ValueError:尝试将不支持类型(<class'NoneType'>(的值(None(转换为张量。

目标是创建一个粗糙的张量emb_aug，看起来像这样：

<tf.RaggedTensor [[[1, 2, 3, 8], [4, 5, 6, 8]], [[1, 2, 3 ,9]]]>

有什么想法吗？

Answer 1

实现这一点的最简单方法是使用tf.RaggedTensor.to_tensor()使粗糙张量成为正则张量，然后执行解决方案的其余部分。我假设你需要张量来保持粗糙。关键是在粗糙张量中找到每个批次的row_lengths，然后使用这些信息使扩充张量粗糙。

示例：

import tensorflow as tf

# data
emb = tf.constant([[[1, 2, 3], [4, 5, 6]], [[1, 2, 3], [0, 0, 0]]])
aug = tf.constant([[[8]], [[9]]])
# make embeddings ragged for testing
emb_r = tf.RaggedTensor.from_tensor(emb, padding=(0, 0, 0))
print(emb_r.shape)
# (2, None, 3)

在这里，我们将使用row_lengths和sequence_mask的组合来创建一个新的粗糙张量。

# find the row lengths of the embeddings
rl = emb_r.row_lengths()
print(rl)
# tf.Tensor([2 1], shape=(2,), dtype=int64)
# find the biggest row length
max_rl = tf.math.reduce_max(rl)
print(max_rl)
# tf.Tensor(2, shape=(), dtype=int64)
# repeat the augmented data `max_rl` number of times
aug_t = tf.repeat(aug, repeats=max_rl, axis=1)
print(aug_t)
# tf.Tensor(
# [[[8]
#   [8]]
# 
#  [[9]
#   [9]]], shape=(2, 2, 1), dtype=int32)
# create a mask
msk = tf.sequence_mask(rl)
print(msk)
# tf.Tensor(
# [[ True  True]
#  [ True False]], shape=(2, 2), dtype=bool)

从这里我们可以使用tf.ragged.boolean_mask使增强的数据不规则

# make the augmented data a ragged tensor
aug_r = tf.ragged.boolean_mask(aug_t, msk)
print(aug_r)
# <tf.RaggedTensor [[[8], [8]], [[9]]]>
# concatenate!
output = tf.concat([emb_r, aug_r], 2)
print(output)
# <tf.RaggedTensor [[[1, 2, 3, 8], [4, 5, 6, 8]], [[1, 2, 3, 9]]]>

你可以在这里找到支持粗糙张量的张量流方法列表

Answer 2

Ragged张量可以直接从行长度构造。输入的值是一个平坦的(相对于未来的粗糙维度，而不是所有其他维度(张量，可以使用tf.repeat构建，再次使用row_length来找到每个样本的适当重复次数！

ragged_lengths = emb.row_lengths()
aug = tf.RaggedTensor.from_row_lengths(
values=tf.repeat(aug, ragged_lengths, axis=0),
row_lengths=ragged_lengths)
emb_aug = tf.concat([emb, aug], axis=-1)