CVPR 2024 | 零样本6D物体姿态估计框架SAM-6D，向具身智能更进一步

文章摘要

【关 键 词】 物体姿态、零样本、实例分割、泛化能力、点集匹配

物体姿态估计在现实世界应用中具有重要意义，如具身智能、机器人灵巧操作和增强现实等。在这一领域，研究热点从实例级别6D姿态估计转向类别级别6D姿态估计，再到更具泛化性的零样本6D姿态估计。零样本6D姿态估计旨在通过给定任意物体的CAD模型，在场景中检测目标物体并估计其6D姿态。尽管具有重要意义，这种任务在物体检测和姿态估计方面面临巨大挑战。

最近，分割一切模型SAM受到关注，其出色的零样本分割能力为零样本6D物体姿态估计任务提供了可靠的支撑。研究人员提出了一个新颖的零样本6D物体姿态估计框架SAM-6D，该框架通过实例分割和姿态估计两个步骤实现目标。SAM-6D利用分割一切模型的零样本分割能力，生成候选对象，并设计物体匹配分数以识别目标物体。姿态估计则采用局部到局部的两阶段点集匹配过程。

SAM-6D的技术贡献包括：创新的零样本6D姿态估计框架，优秀的泛化能力，以及新颖的物体匹配分数和两阶段点集匹配模型。实例分割模型（ISM）利用SAM的零样本迁移能力生成候选对象，并计算物体匹配分数。姿态估计模型（PEM）预测候选对象的6D姿态，采用Background Token设计和稀疏到稠密点集变换器。

实验结果表明，SAM-6D在BOP七个核心数据集上的实例分割和姿态估计表现优异，展现了强大的泛化能力。SAM-6D的更多实现细节可以在原论文中找到。

原文和模型

【原文链接】 阅读原文 [ 2376字 | 10分钟 ]
【原文作者】 机器之心
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★☆

Moonshot AI

月之暗面 (Moonshot AI) 创立于2023年3月，致力于寻求将能源转化为智能的最优解，通过产品与用户共创智能，2023年10月推出全球首个支持输入20万汉字的智能助手产品Kimi。创始团队核心成员参与了 Google Gemini、Google Bard、盘古NLP、悟道等多个大模型的研发，多项核心技术被Google PaLM、Meta LLaMa、Stable Diffusion等主流产品采用。