将零损耗影响反向传播更新

Question

假设我正在做一个标准的DNN分类任务，我正在使用交叉熵损失。在损失计算之后，我应用一个掩码向量([0,0,0,1,1，…]将部分损失归零。问题是Tensorflow将如何处理这个零损失?它会不会涉及到反向传播?

Answer 1

是的，tensorflow将能够处理这个。导致被掩盖的损失值的梯度将仅为0，因为它们不影响损失值。

Answer 2

在计算了实际损失之后对模型的损失应用掩码实际上意味着在反向传播期间省略了梯度的零元素。例如，在处理时间序列数据时，对损失应用掩码向量是一种非常常见的方法，通常填充为具有相同的长度。这些额外的零值在计算梯度时对你的模型没有用处，因此被忽略。