ICLR 惊现[10,10,10,10]满分论文,ControlNet 作者新作,Github 5.8k 颗星

ICLR 惊现[10,10,10,10]满分论文,ControlNet 作者新作,Github  5.8k 颗星

 

文章摘要


【关 键 词】 IC-Light照明编辑扩散模型光照效果AI绘画

在ICLR 2025会议上,张吕敏的新作IC-Light论文获得了四位审稿人一致的满分评价,成为罕见的高分论文。IC-Light是一个基于扩散模型照明编辑模型,能够通过文本精准控制图像的光照效果,使得复杂的光影效果调整变得简单。该模型最初基于SD 1.5和SDXL实现,最近推出了适配Flux的V2版本,效果进一步提升。

IC-Light不仅能够还原光线方向和漫射效果,还能处理人工光源如霓虹灯,保持色彩渗透效果的同时保持人物一致性。此外,IC-Light还支持上传背景图片以改变原图光照。该模型的提出,解决了AI绘画中精确控制图像细节的难题,为商业化工作流带来便利。

IC-Light的研究细节包括:提出了一种在训练过程中强加一致光传输的方法,利用多种数据源对照明效果分布进行建模,并通过施加一致性引入物理基础的约束条件,确保模型只修改图像光照方面,保留其他固有属性。该方法在1000多万个不同样本上进行稳定、可扩展的训练,提高了光照编辑的精度,降低了不确定性和伪影。

实验结果表明,扩大训练规模和数据源多样化可以增强模型鲁棒性,并提高与光照相关的下游任务性能。消融实验证明,IC-Light方法提高了光照编辑的准确性,保留了反照率和图像细节等内在属性。与其他方法相比,IC-Light适用于更广泛的光照分布,如边缘照明、背光照明等,并展示了处理更多野外照明场景的能力。

IC-Light还展示了其他应用,如利用背景条件进行光照协调,支持不同的基础模型。在定量评估中,IC-Light在感知质量上优于其他方法,并在性能之间取得了平衡。视觉对比也显示了IC-Light在阴影鲁棒性和法线贴图质量上的优势。

“极客训练营”

原文和模型


【原文链接】 阅读原文 [ 2753字 | 12分钟 ]
【原文作者】 机器之心
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★★

© 版权声明
“绘蛙”

相关文章

暂无评论

暂无评论...