解决VAE中的爆炸梯度问题

Question

如何在

深度生成模型(VAE(中解决爆炸梯度？

注意：数据集在列中包含大量 NaNs 值

Answer 1

我不确定爆炸梯度是VAE的典型特征。这可能是代码中的不同问题。但是，爆炸梯度通常通过渐变裁剪来解决：

weights = weights*clipping_threshold/l2_norm(weights)

其中 clipping_threshold 等于 1。

Answer 2

默认情况下，

VAE无法处理丢失的数据。首先清理数据或尝试应用一些方法来处理丢失的数据，即：

https://arxiv.org/abs/2006.05301