上海科大等开源创新模型：文本生成精美3D服装

438 0 0

文章摘要

由上海科技大学、宾夕法尼亚大学、Deemos科技和NeuDim科技的研究人员联合开发的DressCode模型，是一个创新的AIGC（人工智能生成内容）工具，能够根据文本描述生成精美的3D服装模型。这项技术为VR、AR、影视、游戏开发和电商平台等领域的设计人员提供了加速3D内容开发效率的可能。

DressCode的核心模块SewingGPT，基于Transformer架构，专注于文本的语义理解和服装图案的生成。通过一种新颖的量化过程，SewingGPT将裁剪图案转化为tokens序列，并使用解码器Transformer模型进行预测，提高了生成内容的准确性。当接收到文本描述时，如夏季棉质连衣裙，SewingGPT解析关键提示词及其语义关系，生成结构化指令，包括外观特征、裁剪方式和缝合顺序等。

DressCode的渲染与展示模块进一步分析文本中的材质和纹理描述，将这些描述映射到材质库中的对应材料，并利用详尽记录的属性数据，如反射率、透光度等，使3D服装模型更加逼真。此外，集成的高级布料动力学算法基于物理模拟，精确计算布料与服装内部结构的相互作用，确保服装在运动状态下的自然垂坠与动态效果。

DressCode还提供了丰富的可定制虚拟模特和内置动作库，支持从静态展示到复杂走秀动作的设置，使用户能够全方位评估服装的动态表现和穿着效果。所有预览都是可视化操作，用户可以通过简单的操作旋转、缩放、平移3D模型，从多个角度审视服装细节。

DressCode模型的开源地址为：https://github.com/IHe-KaiI/DressCode，相关论文发表在https://arxiv.org/abs/2401.16465。这一技术的推出，不仅展示了AIGC领域在服装设计上的应用潜力，也为设计人员提供了一个高效、直观的设计辅助工具。