李飞飞团队提出ReKep，让机器人具备空间智能，还能整合GPT-4o

AIGC动态4个月前发布 almosthuman2014

1,012 0 0

文章摘要

【关键词】 机器人技术、ReKep方法、关键点约束、视觉语言模型、操作策略泛化

李飞飞团队在机器人技术领域取得了显著进展，提出了一种名为关系关键点约束（ReKep）的新方法，该方法通过将任务分解为关键点序列来实现机器人操作任务的约束优化。ReKep方法能够将机器人操作任务表示为子目标和路径的约束优化问题，其中子目标约束定义了任务的最终目标，而路径约束则确保在执行过程中满足特定的空间关系。

为了实现这一方法，团队开发了一个无状态Python函数来编码关键点之间的空间关系，并通过NumPy操作实现。这些操作可能是非线性和非凸的，从而能够处理复杂的空间关系。ReKep方法能够与多模态大模型如GPT-4o整合，通过视觉和语言模型来生成关键点提议和ReKep约束。

在实验中，团队验证了ReKep方法在多种任务中的有效性，包括倒茶、摆放书本、回收罐子、给盒子贴胶带、叠衣服、装鞋子和协作折叠等。实验结果显示，即使在没有特定任务数据或环境模型的情况下，ReKep系统也能够构建正确的约束并在非结构化环境中执行任务。

此外，团队还探索了ReKep方法在操作策略泛化方面的性能，特别是在叠衣服任务中。通过使用GPT-4o模型，团队展示了系统能够根据不同衣服的特点采用不同的策略，其中一些策略与人类常用的方法相似。

最后，团队对系统错误进行了分析，发现关键点跟踪器是导致错误最多的模块，这主要是由于遮挡问题。这一发现为未来的研究和改进提供了方向。

总体而言，ReKep方法展示了视觉与机器人学习的深度融合，并在空间智能方面展现出巨大潜力。通过将任务分解为关键点序列，并利用先进的视觉和语言模型，ReKep为机器人操作任务提供了一种新的解决方案，有望推动机器人技术的发展。