GAN归来：模型大幅简化，训练更稳定，逆袭扩散模型，AI社区疯传

AIGC动态1天前发布 almosthuman2014

122 0 0

文章摘要

近期，AI领域出现了一种全新的极简主义生成对抗网络（GAN），这一研究由布朗大学和康奈尔大学的研究者们提出，并在HuggingFace上成为热议话题，同时入选了NeurIPS 2024。该研究通过引入新的损失函数，解决了GAN模式崩溃和不稳定性的问题，使得GAN在训练时间足够长且架构强大时，能够胜过扩散模型，成为更优的模型选择。

研究者们首先推导出一个正则化相对GAN损失函数，从数学层面解决了模式dropping和不收敛问题，这些问题以往通常需要大量的经验性技巧来应对。他们证明了这一损失函数具有局部收敛保证，并摒弃了所有经验性技巧，用现代架构替代了GAN中过时的骨干网络。以StyleGAN2为例，他们展示了一个简化的现代版路线图——R3GAN（Re-GAN），尽管方法简单，但在多个数据集上超越了StyleGAN2和最先进的GAN及扩散模型。

该研究还从数学上证明了GAN不需要通过改进的正则化损失进行训练，通过结合目标进展与正则化训练损失，GAN获得了更高的训练稳定性。研究者们提出了一个新的目标，通过零中心梯度惩罚增强RpGAN，提高稳定性，并从数学上证明了梯度惩罚RpGAN与正则化经典GAN享有相同的局部收敛保证。

在实验部分，研究团队在StackedMNIST、FFHQ-256、FFHQ-64、CIFAR-10和ImageNet-32等数据集上进行了测试，R3GAN在FID指标上超越了许多其他GAN模型和扩散模型。即使在参数量较小的情况下，R3GAN也能在FID指标上超越更大参数量的扩散模型，显示出其可扩展性。

这项新研究在AI社区引起了广泛关注，StabilityAI的研究总监也对作者团队去除StyleGAN中许多复杂性并提高性能给予了高度评价。这表明，加入现代化元素的GAN有可能重新起航，与Stable Diffusion等技术竞争。