文章摘要
【关 键 词】 3D模型、交互控制、几何代理、模型生成、技术创新
由字节跳动和浙江大学研究人员联合开发的创新模型Coin3D，通过引入几何代理的方式，实现了对3D模型生成过程的交互式控制和指导。该模型的创新之处在于用户可以通过简单的几何形状来引导3D模型的生成，并对生成的模型进行细节调整和再生，从而提高生成模型的质量和符合度。
Coin3D的核心模块之一是3D适配器，其设计灵感来源于体积多视图扩散模型，通过将用户在3D建模软件中构建的简单形状集合转化为3D控制体积，实现了对扩散生成过程的3D感知控制。3D适配器接收两个关键输入：代理形状样本的特征体积和多视图图像融合体积，通过去噪迭代和自注意力机制，确保生成的3D对象与代理形状保持一致。
为了解决直接从多视图图像重建3D模型可能遇到的质量问题，Coin3D采用了体积-SDS技术，在模型重建阶段利用代理引导的特征体积，通过评分蒸馏采样过程中有效利用受控的3D上下文，显著提高了网格重建的保真度和一致性。这使得生成的3D模型不仅符合用户的预期形状，而且在细节上更加精致和准确。
此外，Coin3D还提供了交互式特定编辑功能，允许用户在不破坏整体结构的前提下，自由地对3D模型的任意部分进行调整和创新。用户可以通过调整代理形状的尺寸、位置、组合方式等，快速构建出模型的大致轮廓，然后指定想要修改的模型部分，系统会自动识别这部分与代理形状相对应的区域，确保编辑的自然过渡和风格一致性。
研究人员使用CLIP分数、ImageReward和GPTEvals3D等指标对Coin3D的性能进行了评估。实验结果表明，Coin3D在整体指标上表现最佳，证明了基于几何代理的条件控制能够显著提升3D模型生成的质量。这一研究成果为3D模型生成领域带来了新的突破，有望推动相关技术和应用的进一步发展。
论文链接：https://arxiv.org/abs/2405.08054
原文和模型
【原文链接】 阅读原文 [ 1582字 | 7分钟 ]
【原文作者】 AIGC开放社区
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★☆☆
