CVPR 2024高分论文：全新生成式编辑框架GenN2N，统一NeRF转换任务

文章摘要

【关 键 词】 生成、编辑、多样性、效率、NeRF

这篇文章介绍了来自香港科技大学和清华大学的研究者提出的名为”GenN2N”的生成式 NeRF-to-NeRF 转换框架。NeRF（神经辐射场）在三维重建、生成和新视角合成领域备受关注，但缺乏对生成几何和外观的进一步控制，因此NeRF编辑成为研究焦点。现有的NeRF编辑方法通常针对特定任务，需要领域专业知识。为了解决这一问题，研究者提出了利用基础的2D生成模型进行通用的NeRF编辑，即GenN2N。该框架通过生成式编辑产生多种符合要求的编辑结果，提高了编辑效率和多样性。GenN2N的核心包括引入3D VAE-GAN生成式框架、对比学习解耦编辑内容和视角、使用条件生成模型生成多种编辑结果等。实验结果表明，GenN2N在编辑质量、多样性和效率等方面优于现有方法。团队来自香港科技大学、清华大学和上海人工智能实验室，指导老师为清华大学的弋力和香港科技大学的谭平。他们在NeRF文本驱动编辑、着色、超分辨率、修复等任务上进行了实验，结果显示GenN2N在多种NeRF编辑任务上表现出色。通过对比实验，GenN2N在通用框架的表现与特定任务的SOTA方法相当甚至更好，同时具有更强的多样性。

原文和模型

【原文链接】 阅读原文 [ 1779字 | 8分钟 ]
【原文作者】 机器之心
【摘要模型】 gpt-3.5-turbo-0125
【摘要评分】 ★☆☆☆☆

OpenAI ChatGPT

ChatGPT是OpenAI公司开发的一种大型语言模型。它是一种基于Transformer架构的深度学习模型，可以对语言进行建模和生成。它可以处理问答、对话生成、文本生成等多种任务。