历时2年,华人团队力作,震撼开源生成式物理引擎Genesis,可模拟世界万物
文章摘要
【关 键 词】 物理引擎、开源项目、AI应用、数据生成、机器人技术
CMU联合20多所研究实验室开源发布了名为Genesis的生成式物理引擎,标志着我们向构建一个综合生成文本、图像、音频、视频和3D对象的世界迈出了重要一步。Genesis是一个4D动态世界的生成器,同时也是一个通用机器人和物理AI应用的物理模拟平台。该项目经过2年多的开发,近20家机构参与内部测试。
Genesis的主要特点包括:安装简单、API设计用户友好;并行模拟速度极快,比现有GPU加速的机器人模拟器快10到80倍,同时保持模拟准确性和保真度;支持各种SOTA物理求解器的统一框架,可建模各种材料和物理现象;具有经过性能优化的照片级真实感的光线追踪渲染;设计时考虑了与可微分模拟的兼容性,目前MPM求解器和工具求解器都是可微分的;物理上精确且可微分的触觉传感器;原生支持生成式模拟,允许通过语言提示生成各种模态的数据。
Genesis还支持各种硬件和操作系统。在单台RTX4090上,Genesis的模拟速度比实时速度快约430,000倍,仅需26秒就能训练完成一个可迁移到真实世界的机器人运动策略。Genesis的目标是构建一个通用数据引擎,利用上层的生成式框架自动创建物理世界和各种模式的数据,包括环境、相机运动、机器人任务提议、奖励函数、机器人策略、角色运动、完全交互式3D场景、开放世界铰接资产等,从而自动生成用于机器人、物理AI和其他应用的数据。
Genesis一经宣布,就已收获好评无数,GitHub项目star数在短短几个小时内突破了1.5k。Genesis是一个综合物理模拟平台,专为通用机器人、具身AI和物理AI应用而设计。它同时具有多种属性:一个从头开始重建的通用物理引擎,能够模拟广泛的材料和物理现象;一个轻量级的、超快的、Python化的、用户友好的机器人仿真平台;一个强大和快速的逼真照片渲染系统;生成式数据引擎,将用户提示的自然语言描述转换为各种数据形式。Genesis由重新设计和重新构建的通用物理引擎提供支持,并将各种物理求解器及其耦合集成到一个统一的框架中。此核心物理引擎通过在更高级别运行的生成式智能体架构上得到进一步增强,旨在为机器人技术及其他领域实现全自动数据生成。
原文和模型
【原文链接】 阅读原文 [ 3020字 | 13分钟 ]
【原文作者】 机器之心
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★☆