穹彻智能-上交大最新Nature子刊速递：解析深度学习驱动的视触觉动态重建方案

AIGC动态1周前发布 almosthuman2014

81 0 0

文章摘要

穹彻智能与上海交通大学卢策吾和刘景全团队合作，开发了一种名为ViTaM的视觉-触觉联合记录和追踪系统，旨在提高人形机器人操作技能学习中高质量操作数据的获取效率。ViTaM系统包括一个高密度可伸缩触觉手套和基于视觉-触觉的联合学习框架，通过深度融合视觉与触觉数据，为理解手物交互过程状态提供了新视角和工具。

ViTaM系统的核心挑战在于捕捉与可形变物体进行带力交互时的细粒度信息。系统利用高密度可拉伸触觉手套和3D相机记录操作过程，并通过视觉-触觉联合学习框架在几何层面上估计手-物体状态。触觉手套有1152个触觉传感通道，以13Hz的帧速率捕捉手物交互过程中的力分布和动态。视觉-触觉学习模型处理捕捉到的力测量和点云序列，融合跨模态数据特征，实现对不同形变材料的被操作物体的跟踪和几何三维重建。

ViTaM系统的触觉手套在设计和制造上实现了技术突破，包括高效数据传输、高精度触觉传感、人体工学舒适性和低成本量产潜力。视觉-触觉联合学习框架通过结合触觉数据和视觉信息，有效重建被手部遮挡或形变的物体细节。实验验证表明，ViTaM系统在触觉手套与可形变物体交互分析以及视觉-触觉联合学习的物体重建效果评估方面表现出色。

未来，ViTaM系统有望被集成至机器人的电子皮肤中，赋予机器人与环境无缝互动的能力，提升其在复杂场景下的灵巧操作水平，推动智能机器人技术向更先进和实用的新阶段发展。