视频版PS！0样本视频编辑模型，普通人秒变钢铁侠

881 0 0

文章摘要

研究人员推出了一款名为Slicedit的创新视频编辑模型，通过结合文本到图像的扩散模型和视频时空切片的预处理技术，实现了在不改变视频背景的情况下修改视频主体的功能。该模型能够将视频中的人物转换为其他形象，如将冲浪者变为钢铁侠，且操作简单，适用于不具备专业视频编辑技能的用户，类似于视频版的Photoshop，适合制作搞笑视频等。

Slicedit模型采用了空间时间切片技术，提取视频中的动态元素如运动和变形，并在编辑过程中保持背景和其他非目标区域的稳定性和完整性。此外，模型还引入了扩展注意力机制，克服了传统注意力机制在处理视频时间序列数据时的局限性，通过同时考虑多个时间帧的信息，生成更加连贯的视频内容。

模型还应用了DDPM反演技术，从目标数据中提取噪声向量，而非从噪声中生成数据，使得生成的视频内容更符合用户的二次编辑需求。尽管当前视频质量存在一定不足，如模糊和扭曲，但Slicedit为非专业用户提供了快速视频编辑的可能性。

研究人员计划将Slicedit模型开源，以帮助开发人员构建自己的视频编辑工具，进一步推动视频编辑技术的发展和应用落地。这一创新技术将有望在AIGC领域引发新的应用浪潮，并对市场研究和开发者生态产生积极影响。