Stability AI开源上新：3D生成引入视频扩散模型，质量一致性up，4090可玩

模型信息

【模型公司】 OpenAI
【模型名称】 gpt-3.5-turbo-0125
【摘要评分】 ★★★★★

文章摘要

【关 键 词】 稳定、SV3D、视频生成、3D模型、技术应用

Stability AI最新推出的Stable Video 3D（SV3D）是基于Stable Video Diffusion（SVD）模型的新进展，首次将视频扩散模型应用于3D生成领域。

SV3D通过利用视频模型的时间一致性提高了3D生成的一致性，提供了两个版本：SV3D_u和SV3D_p，分别用于生成轨道视频和根据相机路径创建3D模型视频。

研究人员改进了3D优化技术，引入了掩码得分蒸馏采样（SDS）的损失函数来提高生成3D模型的质量和一致性。

SV3D的架构包含UNet、条件输入和相机轨迹编码等关键组成部分，通过精细控制相机轨迹和噪声输入来提升模型处理图像的能力。

在实验结果方面，SV3D在新视角合成（NVS）和3D重建方面超过了其他现有方法，达到了SOTA水平。

SV3D生成的多视角试图细节丰富，更接近原始输入图像，能够准确捕捉细节并保持视角变换时的一致性。

这一成果引发了网友的热议，许多人认为未来6-12个月内，3D生成技术将被广泛应用于游戏和视频项目中。

项目开源后，已有用户在4090上成功运行，欢迎分享实测体会。

原文信息

【原文链接】 阅读原文
【阅读预估】 1042 / 5分钟
【原文作者】 量子位
【作者简介】 追踪人工智能新趋势，关注科技行业新突破