为什么WGAN被认为是一个对抗性网络



我看完了WGAN论文:WGAN paper Link

在阅读了作者提供的算法后,我发现他们把网络称为对抗性网络很奇怪。在算法的第一部分,一个"评论家"被训练到最优性,他们表明这个评论家近似于我们的生成器分布和真实分布之间的Wasserstein距离。然后,我们采用这种近似,并在批评者的梯度方向上更新生成器分布的参数。因此,从某种意义上说,我们只是在近似一个损失函数,然后我们告诉生成器最好朝哪个方向发展。因此,评论家是一个很好的名字,但称之为对抗性网络意味着生成器和评论家之间存在分歧。有什么想法为什么这仍然应该被戏称为对抗性网络吗?

名称"对抗性的";不是来自本文,而是来自GAN本身,本文只是一项增量工作(因此没有重命名任何内容(。为什么";原始的";GAN被称为生成对抗网络是因为它是以双人竞争游戏的形式训练的,其中生成器任务是愚弄鉴别器,鉴别器任务是好的,而不是被愚弄。这就是";不一致";部分事实上,这对整个系统来说是至关重要的,GANs的绝大多数问题,产生了数百篇论文(如上文所述(,都来自于这样一个事实,即2人游戏的贪婪优化具有更多的混沌动力学,并且不会"只是以足够小的学习率收敛";损失函数的正常最小化(足够平滑(。从数学角度来看,使事情变得混乱的细微区别在于,训练鉴别器的梯度不会反向传播到生成器。否则,发电机将是";帮助;鉴别器。由于这种停止梯度,新兴的动力学不再是任何损失的梯度向量场,而是一个同时最小化2个函数的动力学系统(也称为双人游戏(。

最新更新