北大陈宝权教授：从图形计算到世界模型

AIGC动态6天前发布 almosthuman2014

125 0 0

文章摘要

北京大学陈宝权教授在第九届计算机图形学与混合现实研讨会（GAMES 2024）上发表了题为《从图形计算到世界模型》的报告，探讨了图形计算与世界模型之间的内在联系，并讨论了AIGC领域大模型技术的发展，以及这些模型是否隐藏着一个世界模型的问题。陈教授通过调研和思考，旨在激发关于图形计算如何助力构建更精准世界模型的深入讨论。

报告首先提到了Sora模型，它通过视频生成模型展示出模拟真实世界的能力。接着，陈教授探讨了世界模型的定义，引用了Schmidhuber及其学生的观点，认为世界模型的核心在于预测和规划决策的能力。Yann LeCun也将世界模型的功能与人类大脑进行了类比。

陈教授进一步阐述了世界模型的概念，将其描述为一种能够进行模拟、预测、规划和决策的系统。他通过一个简单的示意图来直观理解世界模型，展示了从真实场景输入到符合真实场景输出的全链条能力。

在自动驾驶等领域，人工智能技术已经展现出从感知到决策的全链条能力。陈教授提出了构建更完备的世界模型的可能实现路径，包括数据丰富性、训练模式、监督机制的增强，以及这些要素的有机融合。

报告强调了simulation在构建世界模型中的重要性，指出计算机图形技术的核心目标是模拟一个真实的世界。通过simulation，可以生成大量高质量、带标签的数据，为大模型训练提供支持。

陈教授还讨论了现有大模型训练的基本规律和局限，指出数据量与模型损失降低之间的关系更接近对数关系，暗示了模型对数据需求的指数级增长特性。他提到了三维数据的极度稀缺性，以及如何通过simulation系统性地生成更多高质量数据。

报告还提到了利用simulation生成数据的成功案例，如UCSD苏昊团队的研究。此外，陈教授探讨了“real to sim”与“sim to real”的策略，以及如何通过结合真实数据进行模拟仿真，扩展真实数据的边界。

在无人驾驶等领域，已经取得了显著的成效。陈教授强调，图形仿真不仅是数据提供者，也是训练环境的构建者。他提到了深度强化学习在多个领域的应用，以及如何通过模拟环境提供的丰富交互场景来学习背后的策略。

最后，陈教授探讨了可微分模拟的重要性，以及如何通过可微分性实现精细化的梯度回传机制，优化策略学习过程。他介绍了可微模拟在软体仿真、流体重建和磁软体机器人控制中的应用，并强调了可微模拟在优化设计领域的潜力。

尽管可微模拟面临诸多挑战，如计算量大、复杂现象难以处理、训练过程中的收敛速度慢等，但其展现出的可靠性和应用潜力为提升世界模型指引了一个有发展潜力的路径。陈教授总结了图形仿真在世界模型训练中的作用，并提出了几个新路径，强调了simulation在其中的核心地位。

报告最后强调了计算机图形技术对现实世界的高逼真模拟仿真能力将赋能人工智能，帮助其突破数据瓶颈，超越传统的数据增广，在建立新的路径上有巨大的探索空间。