3B模型打通机器人任督二脉！冲咖啡叠衣服都能干，7种形态适配，OpenAI也投了

270 0 0

文章摘要

初创公司Physical Intelligence（简称π）开发了一款名为π0的通用型机器人控制模型，该模型拥有3B参数，能够控制不同种类的机器人完成复杂任务，如叠衣服、整理桌子、装鸡蛋等。π0展示了在零样本泛化能力、语言控制响应、新任务学习、多阶段任务等维度上的优异表现，能够在未加入预训练视觉模型的情况下超过baseline模型。此外，π0在处理新任务时性能最佳，尤其在微调数据量较小时优势明显，这意味着它能够无需专门训练即可让机器人自动完成许多开放性任务。

π0模型基于视觉模型PaLM-ViT改造，增加了投影层、多层感知机和动作专家模块，以处理机器人状态和动作的输入输出。模型的输入包括图像、语言指令、机器人本体感受状态和噪声动作块，最终输出动作块的向量场表示。π0使用了条件流匹配方法来建模连续动作分布，这种方法类似于扩散模型，通过逐步添加噪声简化数据分布，然后逐步去噪得到隐私数据。

π公司虽然是一家机器人公司，但它不生产机器人硬件，只负责训练模型，目标是构建能够通用的机器人模型。公司已经获得7000万美元的A轮融资，投资者包括OpenAI。π的创始人团队由机器人和AI领域的专家组成，包括谷歌大脑机器人操作研究主管、UC伯克利电气工程和计算机科学系副教授等。