这是与此相关的问题 - 变化自动编码器和重建日志概率与重建错误
我试图了解如何优化变分的自动编码器。我已经阅读了背后的数学，我认为我了解了变异推理的一般概念以及用于潜在空间的重新聚集技巧。
我已经看到了一些示例，其中使用交叉熵和KL差异在潜在变量上相互比较。然后将这种损失最小化。
另一方面，还有其他示例使用对数概率和KL差异来生成证据下限(ELBO(。然后将Elbo值的负数最小化。
在两者中，潜在空间都是基于输入的模式(例如MNIST中的数字(分配的。因此，我想知道Elbo是或包含类似于重建损失的信息。
简短的答案是肯定的。ELBO实际上是一个平稳的目标函数，它是对数可能性的下限。
而不是最大化log p(x(其中x是一个观察到的图像，我们选择最大化log P(xlz( kl(q(zlx(ll p(z((，其中z是从编码器q(ZLX(样品(。我们这样做是因为优化ELBO比日志P(x(更容易。
那么术语p(xlz(是一个负重建误差 - 我们希望最大化x给定潜在变量z的类似。对于第一个示例：p(xlz(是高斯分布，方差为1。
第二个示例：P(XLZ(是Bernoulli分布，因为Mnist Digit是黑色和白色。我们可以将每个像素建模为多少亮度。
希望这个帮助！