李飞飞「数字表兄弟」破解机器人训练难题！零样本sim2real成功率高达90%

文章摘要

【关 键 词】 数字表亲、机器人学习、自动化方法、策略迁移、泛化能力

李飞飞团队提出了一种名为“数字表亲”的新方法，旨在解决机器人学习中模拟数据与现实环境差异的问题。数字表亲是一种虚拟资产，它不像数字孪生那样精确模拟现实世界的对应物，但能捕获相似的几何和语义功能，从而降低成本并提高泛化能力。

该团队开发了一种名为ACDC的自动化方法，从单幅RGB图像生成交互式模拟场景。ACDC流程包括信息提取、数字表亲匹配和场景生成三个步骤，能够自动创建与输入图像语义相似的虚拟场景，为机器人策略训练提供多样化的环境。

实验结果表明，ACDC生成的数字表亲场景能够保留几何和语义功能，训练出的策略在原始环境设置上的评估中优于数字孪生（90% vs. 25%），并且在分布外设置上表现出更强的鲁棒性。此外，数字表亲训练的策略能够实现零样本从模拟到现实的策略迁移。

尽管ACDC方法在整体上表现出优越性能，但研究团队也观察到了一些失败案例，如高频深度信息、遮挡、语义类别差异、缺乏相应类别的资产等问题。这些问题与ACDC的参数化方式直接相关，如对深度估计的依赖可能导致对物体模型的估计较差。

总体而言，ACDC是一个全自动化的管线，能够快速生成与单张真实世界RGB图像相对应的完全交互式数字表亲场景。研究发现，数字表亲训练的策略在领域内性能与数字孪生相当，但在领域外泛化能力上更优越，并且能够实现零样本学习。这一成果为机器人学习提供了一种新的、成本效益更高的方法。

原文和模型

【原文链接】 阅读原文 [ 3216字 | 13分钟 ]
【原文作者】 新智元
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★★

Moonshot AI

月之暗面是一家 AI 初创大模...