英伟达发布通用机器人模型RVT-2，训练效率提升6倍

47 0 0

文章摘要

英伟达研究人员基于RVT模型研发出第二代模型RVT-2，显著提高了训练和推理效率，仅需10次示范学习即可执行高精度任务。RVT-2在架构上进行了改进，引入多阶段推理管道，采用凸上采样技术，去除特征上采样，节省内存且不牺牲性能。同时，RVT-2对网络参数进行合理化调整，使神经网络更适合GPU，提高效率。在旋转预测方面，RVT-2使用局部特征进行位置相关的旋转预测。此外，RVT-2减少虚拟视图数量，提高训练和推理效率。

研究人员在模拟和现实世界中对RVT-2进行综合实验评估。在模拟实验中，RVT-2在RLBench的18个任务上表现出色，训练和推理效率显著优于之前模型。在现实世界实验中，RVT-2在原有5个任务上性能提升12.5%，在3个新的高精度任务上平均成功率达53.3%，远超RVT的33.3%。总体而言，RVT-2在高精度任务执行方面取得显著进步，展现了强大的潜力和应用前景。