逼真到恐怖！小姐姐挤眼挑眉五官乱飞，3D化身全新算法秒杀谷歌

1,292 0 0

文章摘要

研究人员提出了一种全新的算法NPGA，通过利用高斯点云和神经网络模型，能够生成高质量、高保真的3D头像。该算法的一个关键创新是采用神经参数化头模型（NPHM），捕捉人脸的细微表情变化，使得3D数字化身能够逼真模拟人类表情。此外，研究人员还引入了“拉普拉斯项”来增强化身的表现力。

在实验评估中，NPGA在自我重现任务中展现出相较于之前SOTA模型的显著提升，约为2.6PSNR。这一技术的应用前景广阔，涵盖电影、游戏、AR/VR远程会议以及元宇宙等多个领域。

传统上，3D头像的生成往往采用网格3DMM，但NPGA通过高斯点云方式使得渲染更加高效和逼真。研究团队指出，底层表达空间对于虚拟人的质量至关重要，不仅影响可控性，还决定了细节清晰度的上限。

为了提升模型的准确性，团队使用了NeRSemble数据集，这是一个包含多视角视频的数据集，用于追踪和提取身份和表情代码。尽管研究主要关注头部重建，忽略了躯干部分，但NPGA在重建头部动作和表情方面已取得显著进步，相较于之前的数据集表现更加逼真。

综上所述，NPGA算法在3D头像生成领域实现了重大突破，其高保真、可控的虚拟化身逼真到足以让人怀疑是否与真人交谈，为未来虚拟交互体验带来了新的可能性。