何恺明ResNet级神作，分形生成模型计算效率狂飙4000倍！清华校友一作

114 0 0

文章摘要

何恺明团队最近提出了一种名为「分形生成模型」的新型AI图像生成技术，该技术通过模拟自然界中的分形现象，实现了高分辨率逐像素建模，并显著提升了计算效率。这一创新将AI设计与自然界的设计模式相结合，可能为实现更高级的智能系统铺平道路。

分形生成模型的核心在于递归结构，它通过递归调用原子生成模块构建新型生成模型，形成自相似的分形架构。这种架构在不同层次上展现出类似分形的自相似模式，每个生成模块内部包含更小的生成模块，而这些小模块内又嵌套着更小的模块。这种设计受到了生物神经网络和自然数据中观察到的分形特性的启发。

在像素级图像生成上，研究团队验证了新方法的强大——「分形生成模型」首次将逐像素建模的精细分辨率的计算效率提升了4000倍。这种模型不仅是一种新模型，更是生成建模领域的全新范式。它将AI设计与自然界奥秘合二为一，或许通往真正智能道路，就是更深入理解、模拟自然界已有的设计模式。

分形生成模型的动机和直觉来源于简单的递归规则中可以产生复杂的模式，这也是分形生成模型的核心思想：利用现有的原子生成模块，递归地构建成更高级的生成模型。在分形几何中，这些规则通常被称为「生成器」。通过不同的生成器，分形方法可以构建许多自然模式，如云、山脉、雪花和树枝，并且和更复杂的系统有关，如生物神经网络的结构、非线性动力学和混沌系统。

在理论上，生成模型就是建模多个高维随机变量的联合分布，但直接用单一的自回归模型建模，在计算上是不可行的。为了解决这个问题，采用了分而治之的策略，关键模块化是将自回归模型抽象为一个模块化单元，用于建模概率分布p(x∣c)。通过这种模块化，可以在多个下一级自回归模型的基础上构建一个更强大的自回归模型。

实验结果显示，研究人员在ImageNet数据集上对「分形生成模型」进行了广泛的实验，分别使用64×64和256×256的分辨率。评估包括无条件和类别条件图像生成，涵盖了模型的多个方面，如似然估计、保真度、多样性和生成质量。特别是在256×256分辨率下，在具有挑战性的类别条件图像生成任务上的表现，FractalMAR-H实现了6.15的FID，以及348.9的IS。在单个Nvidia H100 PCIe GPU上以1024的批大小评估时，平均每张图像的生成时间为1.29秒。

作者介绍中提到，Tianhong Li（黎天鸿）是MIT CSAIL的博士后研究员，Qinyi Sun是MIT EECS的本科生，Lijie Fan是谷歌DeepMind的研究科学家，而何恺明是MIT EECS的副教授，他的研究重点是构建能够从复杂世界中学习表示并发展智能的计算机模型。