把Waymo玩成GTA游戏！全生成式的车辆行驶轨迹视频合成器来了

AIGC动态7天前发布 almosthuman2014

106 0 0

文章摘要

中科院自动化所团队提出了一种名为FreeVS的全生成式新视角合成方法，该方法能够渲染真实场景中任意车辆行驶轨迹下的视频，无需进行耗时的场景重建过程。FreeVS通过从稀疏点云投影中恢复相机成像的生成管线，类似于Inpainting模型，基于稀疏但可靠的点云投影点补全目标图像。在训练过程中，生成模型学习基于给定帧的三维先验生成邻近帧的相机成像，即使训练数据中驾驶车辆大多走直线，也能学习相机视角的横向移动。在测试阶段，图像信息染色的场景三维点云被投影至任意所需视角，以控制图像生成结果。

FreeVS能够在真实场景中模拟车辆移动，包括变线行驶、撞向行人、大Z型前进等，并且能够对场景内容进行编辑，如替换场景车辆或定制车辆运动。与基于重建的方法相比，FreeVS在新车辆运动轨迹下几乎不受图像模糊、伪影等现象困扰。此外，FreeVS还能合成虚拟相机位置上的成像，而基于重建的方法难以应对虚拟相机位置上全部观测的缺失。总的来说，FreeVS提供了一种新颖的全生成式新视角合成方法，能够在无需场景重建的情况下，高效高质地渲染大量新相机视图。