MIT 最新扩散模型课程：从微分方程探索 AIGC 的边界

68 0 0

文章摘要

MIT计算机系教授Peter Holderrieth和Ezra Erives在其最新课程系列“Generative AI with Stochastic Differential Equations”中，深入探讨了生成式人工智能（AIGC）领域中的两种核心算法：去噪扩散模型和流匹配。生成模型通过将噪声逐步转换为数据来生成对象，这一过程可以通过模拟常微分方程（ODE）或随机微分方程（SDE）实现。课程详细介绍了如何利用深度神经网络大规模构建、训练和模拟这些微分方程，并探讨了生成模型在图像生成、机器人控制和蛋白质设计等领域的应用。

生成模型的核心任务是从数据分布中生成样本。在机器学习中，数据分布通常被视为一个概率分布，生成模型的目标是将初始分布（如高斯分布）中的样本转换为数据分布的样本。通过常微分方程（ODE）构建的流模型和通过随机微分方程（SDE）构建的扩散模型，是实现这一目标的主要方法。流模型通过确定性过程将初始分布转换为数据分布，而扩散模型则通过随机过程实现这一转换。这两种模型的核心在于如何通过神经网络参数化向量场，从而模拟概率路径。

在训练生成模型时，最小化均方误差是核心目标。通过定义概率路径，生成模型可以将噪声逐步转换为数据。去噪扩散模型使用高斯概率路径，条件概率路径对高斯分布和单个数据点进行插值，而边缘概率路径则对整个数据点分布进行插值。训练过程中，神经网络的目标是逼近边际向量场，从而通过流匹配或得分匹配损失来优化模型。在实际应用中，扩散模型允许通过确定性或随机性过程进行模拟，而流模型则仅支持确定性模拟。

在图像生成领域，条件生成引导机制和无分类器引导技术被广泛应用于提高生成质量。通过条件流匹配目标，生成模型可以从数据分布中采样，并结合文本提示生成更准确的图像。Stable Diffusion 3和Meta Movie Gen Video等模型通过条件流匹配和扩散Transformer（DiT）实现了高效的图像和视频生成。为了减少内存消耗，生成模型通常在潜在空间中进行操作，通过自编码器将高维数据压缩到低维潜在空间，从而降低计算复杂度。

在机器人控制领域，扩散模型被用于生成未来轨迹的航点，并通过循环推理实现实时控制。扩散模型的多模态分布建模能力使其在机器人操作中表现出色，尤其是在处理长视界多模态任务时。通过引入触觉传感器，机器人可以更准确地感知环境并执行复杂任务，如拧紧瓶盖。为了提高模型的稳健性和性能，多任务学习和大量数据的训练是关键。

在蛋白质设计领域，扩散模型被用于生成蛋白质结构和序列，从而加速药物研发。通过SE（3）框架，扩散模型可以在保持键固定的同时，精确控制原子的位置。预训练的蛋白质结构预测神经网络通过扩散模型进行微调，显著提高了生成蛋白质的长度和质量。对称生成技术使模型能够生成与特定分子结合的蛋白质，从而提高了实验的成功率。

扩散模型的应用前景广阔，不仅限于蛋白质生成，未来还可能扩展到小分子和其他非蛋白质物质的生成。通过与实验数据的迭代改进，扩散模型有望在新生物学领域产生重大影响。