两篇论文同时获最佳论文荣誉提名，SIGGRAPH上首个Real-Time Live的中国团队用生成式AI创建3D世界
文章摘要
【关 键 词】 3D生成、AI技术、数字人、虚拟现实、材质贴图
在2024年SIGGRAPH大会上，上海科技大学MARS实验室的团队凭借CLAY和DressCode两篇论文获得了最佳论文荣誉提名，其成果在3D生成领域取得了显著进展。CLAY论文提出了一种3D原生生成技术，通过直接从3D数据集训练生成模型，提取丰富的3D先验，从而更好地理解并保留几何特征。研究者采用定制的数据处理流程，将多种3D数据集转换为水密性网格，并利用GPT-4V进行细致的标注，以提高生成模型的泛化性。CLAY模型包含15亿参数，采用了3DShape2VecSet的神经场设计和多分辨率几何VAE，实现了对几何的精确控制。
DressCode论文则专注于3D服装生成，通过AI技术将2D服装图片转换为3D模型。这两项工作展示了AI在3D生成领域的潜力，为数字人、虚拟现实等技术提供了新的可能性。然而，3D生成技术在实际应用中仍面临一些挑战，如模型需要符合特定的工业标准，包括材质表现、面片规划等。CLAY研究团队通过两阶段方案，实现了几何优化和材质合成，使生成的数字资产能够直接用于现有的CG生产管线。
此外，CLAY还支持3D版ControlNet，可以高效地支持各种不同模态的条件控制，如文本、图像、草图等。这为3D内容的创作提供了广泛的可能。CLAY的设计从一开始就瞄准了应用场景，与一些纯学术研究有所不同。目前，基于CLAY的3D生成器Rodin已经成为许多3D开发者的常用工具，其生成的3D资产几何科学、布线规则、材质贴图精致，可以直接导入主流渲染引擎。
上科大MARS实验室团队在3D原生AI的道路上取得了显著成果，大幅降低了3D创造的门槛。基于CLAY的3D生成技术不仅指引着业界方向，还将对图像和视频的生成起到积极作用。未来，随着新技术的进一步落地，3D+AI的能力将得到更广泛的应用和认可。
原文和模型
【原文链接】 阅读原文 [ 2930字 | 12分钟 ]
【原文作者】 机器之心
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★☆
