打入AI底层！NUS尤洋团队用扩散模型构建神经网络参数，LeCun点赞

782 0 0

作者信息

【原文作者】 量子位
【作者简介】 追踪人工智能新趋势，关注科技行业新突破
【微信号】 QbitAI

文章摘要

新加坡国立大学尤洋教授团队联合UCB、Meta AI实验室等机构开源了一项研究成果，提出了一种用于生成神经网络参数的扩散模型p(arameter)-diff。该模型能够显著提高生成网络参数的速度，最多可达44倍，同时保持性能不减。这一成果在AI社区引起了广泛关注，甚至被认为是AI创造新的AI的重要一步。p-diff结合了自编码器和扩散模型，通过正向和反向过程学习参数分布，从而生成新的网络参数。实验结果显示，p-diff生成的模型在多个数据集上的表现接近或超过原始模型，且具有更好的泛化能力。目前，p-diff的代码已在GitHub开源。

摘要：
新加坡国立大学的研究团队与UCB、Meta AI实验室合作，开发了一种新型扩散模型p-diff，用于生成神经网络参数。这一技术能够显著提高参数生成的速度，最高可达44倍，同时保持模型性能。p-diff通过结合自编码器和扩散模型，学习参数分布，从而合成新的网络参数。实验结果表明，p-diff生成的模型在多个数据集上的表现与原始模型相当，甚至更优，且展现出良好的泛化能力。这一成果被视为AI领域的一大突破，有望推动人工智能向更高级别的发展。目前，p-diff的代码已经开源，供研究者和开发者进一步探索和应用。