浙大、蚂蚁集团推出MaPa：文本生成超真实3D模型

文章摘要

【关 键 词】 3D模型、技术创新、高效生成、材质优化、应用广泛

浙江大学、蚂蚁集团和深圳大学联合推出了一款名为MaPa的创新模型，该模型能够通过文本直接生成高分辨率、具有物理光照和超真实材质的3D模型。这一技术突破有助于提升游戏、VR、AR和影视等行业的开发效率。

MaPa模型在无参考图像的情况下，生成的模型材质、分辨率和局部细节方面，优于其他模型如TEXTure、Text2tex和Fantasia3D。其关键创新点包括分段图像生成、3D材质分组和材质图优化。

在分段图像生成过程中，MaPa将3D网格细分为多个小分段，类似于分解画作，使得每个小分段的细节能够独立处理。通过选择合适的视角，并使用预训练的2D扩散模型ControlNet生成与3D分段对齐的2D图像。

针对3D模型材质生成中的组织和管理难题，MaPa采用“材质分组”模块，利用GPT-4v模型智能识别和分组相似材质的3D分段，同时通过材质颜色相似性分析进一步提升材质的一致性。

材质图优化模块则是从预建的材质图库中检索最相似的材质图，并利用可微渲染模块对材质图参数进行优化。通过最小化生成的3D模型与渲染出的2D图像之间的差异，提高了材质的真实感，同时保持了渲染的效率。

由于3D模型架构的复杂性，MaPa采用连续迭代的方法，为模型的每个部分生成一致且真实的材质，即便是复杂的3D模型架构也能轻松应对。这一系列技术创新，使MaPa在3D模型生成领域展现出广阔的应用前景。

原文和模型

【原文链接】 阅读原文 [ 1388字 | 6分钟 ]
【原文作者】 AIGC开放社区
【摘要模型】 glm-4
【摘要评分】 ★★★☆☆

智谱AI

智谱AI是一家国内的AI大模型...