2张图2秒钟3D重建！这款AI工具火爆GitHub，网友：忘掉Sora

350 0 0

模型信息

【模型公司】 月之暗面
【模型名称】 moonshot-v1-32k
【摘要评分】 ★★★★★

文章摘要

DUSt3R是一个令人兴奋的新工具，它能够仅通过两张图片，无需任何额外数据测量，快速生成一个完整的3D小熊模型。这个工具在GitHub上迅速走红，成为热榜第二。网友们通过实际测试发现，DUSt3R不仅能够重建3D图像，还能生成深度图、置信度图和点云图，整个过程耗时不到2秒钟。DUSt3R在单目/多视图深度估计以及相对位姿估计三个任务上都取得了SOTA（State of the Art）的成果。

DUSt3R的特点是“all-in-one”，它不需要任何相机校准或视点姿势的先验信息，就能完成任意图像的密集或无约束3D重建。这种方法将成对重建问题表述为点图回归，统一了单目和双目重建情况。DUSt3R的网络架构基于标准Transformer编码器和解码器，受到了CroCo研究的启发，并采用简单的回归损失训练完成。

在实验中，DUSt3R在7Scenes和Cambridge Landmarks数据集上的表现令人印象深刻，尤其是在绝对姿态估计任务上。此外，DUSt3R在多视图姿态回归任务和单目深度估计任务上也取得了最佳效果。官方提供的3D重建效果展示了DUSt3R的强大能力，即使是在输入图像没有重叠的情况下，DUSt3R也能输出准确的3D视图。

DUSt3R的成功不仅在于其技术成就，还在于它为3D视觉任务提供了一种全新的解决方案，使得复杂的3D重建变得简单易行。这一突破性的工具无疑将对3D视觉领域产生深远的影响。