港大、哈工大、浙大发布可解耦创意3D模型

95 0 0

文章摘要

【关键词】 AIGC领域、3D模型、OmniPart、生成框架、部件生成

当前专注AIGC领域，聚焦大语言模型发展、应用落地、市场研究及开发者生态。主流3D生成模型如DreamFusion、TRELLIS等虽能创建逼真整体形状，但产出的是缺乏内在零件结构的黑箱资产，无法提供精准的零件级控制。

中国香港大学等研究人员联合推出的OmniPart能生成具有明确部件结构的3D模型，实现部件独立性与整体合理性。它采用创新的两阶段生成框架。

第一阶段为可控结构规划阶段，OmniPart设计专门模块定义3D对象的部件级空间布局。核心是自回归模型，利用灵活的2D部件掩码引导，这些掩码可从用户输入或现有2D模型获取，用于标记期望进行部件分解的区域。给定输入图像，OmniPart先使用DINOv2提取视觉特征，将2D部件掩码与视觉特征结合，通过可学习的嵌入表增强特征图的部件感知能力，再由自回归模型逐步生成3D部件边界框。为确保边界框完整覆盖物体部件，引入新颖的部件覆盖损失函数，惩罚预测边界框过小情况。

第二阶段是空间条件下的部件合成阶段，OmniPart利用第一阶段生成的部件布局，高效生成所有部件的高质量3D表示。因缺乏大量部件级3D注释数据，它巧妙利用预训练整体3D生成器TRELLIS并改编为部件感知的3D生成模型。将预测的边界框定义为TRELLIS体素表示中的空间区域，作为部件级潜在代码的初始化。为促进语义感知和整体结构一致性，每个部件体素表示结合自身特征、对象上下文信息，并注入独特的部件感知嵌入。所有部件潜在代码通过去噪过程联合优化，兼顾全局和局部信息。此外，为处理体素在部件边界处的重叠问题及边界框初始化引入的噪声，引入新颖的体素丢弃机制，在推理阶段精确过滤掉不属于当前部件的体素，实现干净的部件界面和高效的多部件同时生成。