CMU朱俊彦、Adobe新作：512×512图像推理，A100只用0.11秒

AIGC动态9个月前发布 almosthuman2014

1,034 0 0

文章摘要

【关键词】 AI绘画、图像转换、对抗学习、CycleGAN-Turbo、pix2pix-Turbo

机器之心报道了一项由CMU和Adobe联合推出的研究，该研究通过简笔素描一键生成多风格画作，并可添加额外描述。CMU助理教授朱俊彦及其团队在ICCV 2021会议上发表了类似研究，使用手绘草图自定义现成的GAN模型，输出与草图匹配的图像。该研究提出了一种通用方法，通过对抗学习将单步扩散模型适配到新任务和领域，实现高效的推理。研究者推出了CycleGAN-Turbo和pix2pix-Turbo模型，分别在未成对和成对设置下执行各种图像到图像的转换任务，如昼夜转换、添加或移除天气效果等。

为了将文本到图像模型转换为图像转换模型，研究者引入了额外的适配器分支，使用条件编码器处理输入图像。同时，为了保留输入图像的细节，研究者在编码器和解码器网络之间添加了跳跃连接。实验结果表明，CycleGAN-Turbo在无成对转换任务上优于现有基于GAN和扩散的方法，如CycleGAN和CUT。然而，在驾驶数据集上，这些方法难以生成包含多个对象的复杂场景，且预训练模型无法合成类似街景图像。总之，这项研究表明，一步式预训练文本到图像模型可以作为许多下游图像生成任务的强大、通用主干。