英伟达推出LATTE3D:仅需400毫秒,文本生成高质量3D模型

AIGC动态7个月前发布 AIGCOPEN
999 0 0
英伟达推出LATTE3D:仅需400毫秒,文本生成高质量3D模型

 

文章摘要


【关 键 词】 LATTE3D3D模型高质量快速生成AIGC

英伟达的研究人员最近推出了一款名为LATTE3D高质量3D模型生成技术。这项技术在生成3D模型的速度和质量上都取得了显著的突破。与其他模型相比,LATTE3D能够在单次前向传递中生成多视角、高质量的纹理网格,且生成时间极短,仅需400毫秒,远快于其他模型所需的十几分钟甚至一小时。

LATTE3D的核心架构由几何网络和纹理网络两大块构成,且在编码器部分共享参数权重。几何网络主要负责生成3D对象的粗糙整体形状和结构,而纹理网络则为生成的粗糙3D形状添加高质量细节纹理。这种分工明确、协同工作的架构使得LATTE3D在生成3D模型时能够兼顾物体的形态和质量。

LATTE3D的训练分为两个阶段。第一阶段的目标是使几何网络能够生成与文本提示相符的粗糙3D体数据。研究人员设计了一个创新的复合训练目标,使用了MVDream训练的3D扩散模型,并通过3D正则化约束生成形状的整体准确性。第二阶段则是在第一阶段的基础上,进一步训练纹理网络,以生成高质量的纹理细节。LATTE3D通过使用3D感知的损失函数和额外的正则化项来训练表面细化模块,以改善生成结果的准确性和细节。

LATTE3D使用了超过10万个文本提示和3.4万个3D形状的大规模数据集进行训练,这个数据集的规模超过了之前多数的文本到3D生成模型,从而极大增强了LATTE3D的泛化能力。

总的来说,LATTE3D的推出为3D模型生成领域带来了新的突破,其高效的生成速度和高质量的生成结果预示着未来在AIGC领域有广泛的应用前景。

原文和模型


【原文链接】 阅读原文 [ 1725字 | 7分钟 ]
【原文作者】 AIGC开放社区
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★☆

© 版权声明

相关文章

暂无评论

暂无评论...