逼真到恐怖！小姐姐挤眼挑眉五官乱飞，3D化身全新算法秒杀谷歌

159 0 0

文章摘要

研究人员提出了一种全新的算法NPGA，通过利用高斯点云和神经网络模型，能够生成高质量、高保真的3D头像。该算法的一个关键创新是采用神经参数化头模型（NPHM），捕捉人脸的细微表情变化，使得3D数字化身能够逼真模拟人类表情。此外，研究人员还引入了“拉普拉斯项”来增强化身的表现力。

在实验评估中，NPGA在自我重现任务中展现出相较于之前SOTA模型的显著提升，约为2.6PSNR。这一技术的应用前景广阔，涵盖电影、游戏、AR/VR远程会议以及元宇宙等多个领域。

传统上，3D头像的生成往往采用网格3DMM，但NPGA通过高斯点云方式使得渲染更加高效和逼真。研究团队指出，底层表达空间对于虚拟人的质量至关重要，不仅影响可控性，还决定了细节清晰度的上限。

为了提升模型的准确性，团队使用了NeRSemble数据集，这是一个包含多视角视频的数据集，用于追踪和提取身份和表情代码。尽管研究主要关注头部重建，忽略了躯干部分，但NPGA在重建头部动作和表情方面已取得显著进步，相较于之前的数据集表现更加逼真。

综上所述，NPGA算法在3D头像生成领域实现了重大突破，其高保真、可控的虚拟化身逼真到足以让人怀疑是否与真人交谈，为未来虚拟交互体验带来了新的可能性。

原文和模型

【原文链接】 阅读原文 [ 4156字 | 17分钟 ]
【原文作者】 新智元
【摘要模型】 glm-4
【摘要评分】 ★★★★★

智谱AI

智谱AI是由清华大学计算机系技术成果转化而来的公司，致力于打造新一代认知智能通用模型。公司合作研发了双语千亿级超大规模预训练模型GLM-130B，并构建了高精度通用知识图谱，形成数据与知识双轮驱动的认知引擎，基于此模型打造了ChatGLM（chatglm.cn）。此外，智谱AI还推出了认知大模型平台Bigmodel.ai，包括CodeGeeX和CogView等产品，提供智能API服务，链接物理世界的亿级用户、赋能元宇宙数字人、成为具身机器人的基座，赋予机器像人一样“思考”的能力。