李飞飞「数字表兄弟」破解机器人训练难题!零样本sim2real成功率高达90%

AIGC动态2个月前发布 AIera
922 0 0
李飞飞「数字表兄弟」破解机器人训练难题!零样本sim2real成功率高达90%

 

文章摘要


【关 键 词】 数字表亲机器人学习自动化方法策略迁移泛化能力

李飞飞团队提出了一种名为“数字表亲”的新方法,旨在解决机器人学习中模拟数据与现实环境差异的问题。数字表亲是一种虚拟资产,它不像数字孪生那样精确模拟现实世界的对应物,但能捕获相似的几何和语义功能,从而降低成本并提高泛化能力

该团队开发了一种名为ACDC的自动化方法,从单幅RGB图像生成交互式模拟场景。ACDC流程包括信息提取、数字表亲匹配和场景生成三个步骤,能够自动创建与输入图像语义相似的虚拟场景,为机器人策略训练提供多样化的环境。

实验结果表明,ACDC生成的数字表亲场景能够保留几何和语义功能,训练出的策略在原始环境设置上的评估中优于数字孪生(90% vs. 25%),并且在分布外设置上表现出更强的鲁棒性。此外,数字表亲训练的策略能够实现零样本从模拟到现实的策略迁移

尽管ACDC方法在整体上表现出优越性能,但研究团队也观察到了一些失败案例,如高频深度信息、遮挡、语义类别差异、缺乏相应类别的资产等问题。这些问题与ACDC的参数化方式直接相关,如对深度估计的依赖可能导致对物体模型的估计较差。

总体而言,ACDC是一个全自动化的管线,能够快速生成与单张真实世界RGB图像相对应的完全交互式数字表亲场景。研究发现,数字表亲训练的策略在领域内性能与数字孪生相当,但在领域外泛化能力上更优越,并且能够实现零样本学习。这一成果为机器人学习提供了一种新的、成本效益更高的方法。

“极客训练营”

原文和模型


【原文链接】 阅读原文 [ 3216字 | 13分钟 ]
【原文作者】 新智元
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★★

© 版权声明
“绘蛙”

相关文章

暂无评论

暂无评论...