关于机器人数据，强化学习大佬Sergey Levine刚刚写了篇好文章

AIGC动态10小时前发布 almosthuman2014

70 0 0

文章摘要

【关键词】 大模型训练、数据替代方案、机器人智能体、仿真技术、真实世界数据

训练大型模型在机器人领域面临的核心挑战在于获取真实世界交互数据的成本极高。视觉-语言-动作模型（VLA）需要大量机器人执行任务的真实数据，这类数据的采集难度远超文本或图像数据。研究者尝试通过仿真、人类视频和手持夹爪设备等替代方案降低成本，但这些方法本质上都涉及在替代数据域与真实世界之间建立人为映射关系，这种映射会预设特定的任务解决策略，从而限制模型的泛化能力。

仿真技术依赖人类设计的虚拟环境，通过引入随机变化提高鲁棒性，但仿真效果取决于设计者对任务完成方式的预设。基于人类视频的方法需要建立人体与机器人的动作映射，这种映射不仅需要克服动力学差异，还隐含了人类特定的任务解决路径。手持夹爪设备虽然直接模仿机器人操作，但仍受限于设备预设的运动学结构。这些替代方法虽然取得部分成功，但本质上是通过信息隐藏来弥合领域差异，随着模型能力提升，这种差异会变得更加明显。

替代数据的根本问题在于其与真实世界的交集区域会随模型能力增强而缩小。任何缓解领域差异的尝试，如限制观察空间或引入不变性损失，都会削弱模型整合复杂信息的能力。精心设计的替代方案可能在特定场景有效，但无法保证在新场景中的适用性。当用人类数据训练机器人模型时，模型会学习”人类如何解决问题”而非”机器人如何高效完成任务”，这与基础模型的泛化优势背道而驰。

真实世界数据对于训练具备广泛泛化能力的机器人基础模型至关重要。替代数据可以作为补充知识来源，但不能替代真实经验。就像网球运动员需要通过实际击球而非仅靠观看录像来提高水平，机器人也需要在真实环境中积累经验。将替代数据视为类似LLM预训练数据的知识来源，而非直接的行为指导，可能是更合理的应用方式。

替代数据只是人工智能研究中”鱼与熊掌兼得”尝试的一个例子。类似的方法还包括混合学习系统、人为约束设计和神经网络架构中的直觉嵌入。这些方法都试图通过人工设计的归纳偏置来弥补数据不足，但最终会成为系统性能的瓶颈。任何非学习获得的人工设计部分，都会限制学习系统的扩展潜力，这与提升模型泛化能力的初衷相矛盾。