在变分自动编码器中,编码器必须与解码器具有相同数量的层数吗?我用编码器(密集(:54-10-5-3 和解码器(密集(:3-5-10-25-35-45-54 得到了更好的结果
你问了一个很好的问题,答案是否定的。
由于Aldream已经指出了一些使用非对称架构的作品,我想指出与您的问题相关的理论工作。
我认为最好的解释来自ICLR 2017会议论文:"变分有损自动编码器",陈曦等。
第 2 部分是必读部分。作者将变分自动编码器与回位编码联系起来,并表明平均代码长度(相当于变分下限(总是使用近似后验分布具有额外的代码长度。当VAE的解码器(即对数数据似然p(x|z((可以在不需要q(z|x(的情况下对数据进行建模时,VAE将忽略潜在变量!
这意味着,如果我们有一个非常强大的解码器(例如,与编码器相同的层数(,那么VAE可能会完全忽略学习q(z|x(,只需将q(z|x(设置为先前的p(z(,从而将KL损失保持在0。
有关更多详细信息,请阅读上面的论文。在我看来,VAE与回位编码的连接是优雅的。
不,非对称架构并不少见,例如 [1, 2, 3, 等等]。
-
Tang, Shuai, et al. "探索基于上下文的句子表示学习的非对称编码器-解码器结构"。 arXiv预印本arXiv:1710.10380 (2017(.pdf
-
LiNalisnick,Eric和Padhraic Smyth。"断棒变分自动编码器。"学习表征国际会议(ICLR(。2017.pdf
-
纳什、查理和克里斯·基·威廉姆斯。"形状变分自动编码器:零件分割3D对象的深度生成模型。计算机图形论坛。第36卷。5号。2017.pdf