文章摘要
【关 键 词】 R3GAN、正则化、局部收敛、性能提升、现代化架构
布朗大学和康奈尔大学的研究者提出了一种新型GAN架构——R3GAN（Re-GAN），这一突破性架构引入了正则化相对性损失函数，不仅在理论上证明了局部收敛性，而且在实践中显著提升了模型训练的稳定性。R3GAN摒弃了传统GAN依赖的各种技巧，转而采用现代化的深度学习架构，以一半的模型参数和单步生成方式达到与EDM（扩散模型）相当的性能。
R3GAN的核心在于新型目标函数，将相对配对GAN损失（RpGAN）与零中心梯度惩罚相结合，提高了稳定性。研究者在数据上证明了带梯度惩罚的RpGAN享有与正则化经典GAN相同的局部收敛性。此外，R3GAN摒弃了StyleGAN中的反锁技巧，转而采用简洁而高效的现代架构设计，通过适当的ResNet设计、初始化和重采样，加上分组卷积和无归一化，达到了甚至超越StyleGAN的性能。
实验中，R3GAN在FFHQ、ImageNet、CIFAR和Stacked MNIST数据集上的FID表现优于StyleGAN、其他最先进的GAN和扩散模型。研究者通过逐步现代化改造，从StyleGAN2基准模型出发，移除了所有非必要特性，应用了所提出的损失函数，并逐步对网络骨干进行现代化改造。在FFHQ 256×256数据集上评估每种配置，所有配置的网络容量大致保持相同，生成器和判别器的可训练参数均约为2500万。
R3GAN在不同数据集上的FID表现均优于现有GAN方法和扩散模型，且在样本多样性方面达到了与扩散模型相似或略差的召回率，但优于现有的GAN模型。这一研究证明了通过改进的正则化损失，让GAN的训练不必那么棘手，并且在实验中开发了一个简单的GAN基准，在不使用任何技巧的情况下，实现了优异的性能。
原文和模型
【原文链接】 阅读原文 [ 5323字 | 22分钟 ]
【原文作者】 新智元
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★☆
