如何在前馈过程中处理填充的 0

Question

>假设我有一个不同大小的输入列表，例如，有些是形状[10,9,5]有些是[7,6,5]，我必须填充0才能将它们输入到相同大小的张量流中，比如[10,9,5]，我需要做矩阵乘法并在前向过程中添加偏差，这将在填充的0位置引入数字。所以我必须自己创建一个掩码矩阵来掩码它们？还是有更简单的张量流方法？谢谢！

顺便说一句，我不是在喂食序列，也不是使用 RNN。 所以我不能使用动态 rnn

Answer 1

我认为您可以使用注意力机制将可变长度输入转换为一些固定长度的张量，然后再将它们馈送到前馈网络中。