在Sora引爆视频生成时，Meta开始用Agent自动剪视频了

929 0 0

作者信息

【原文作者】 硅星人Pro
【作者简介】 硅（Si）是创造未来的基础，欢迎来到这个星球。
【微信号】 Si-Planet

文章摘要

LAVE是一个视频剪辑工具，它通过LLM提供语言增强功能，包括基于LLM的规划和执行智能体，能够解释用户的自由格式语言命令、进行规划和执行相关操作以实现用户剪辑目标。LAVE还引入了视觉语言模型（VLM）来自动生成视频视觉效果的语言描述，帮助LLM理解视频内容并协助用户完成剪辑。LAVE提供了两种交互视频剪辑模式：智能体协助和直接操作，为用户提供了灵活性。

LAVE的用户界面包含三个主要组件：语言增强视频库、视频剪辑时间轴和视频剪辑智能体。语言增强视频库允许用户播放视频并提供自动生成的文本描述，帮助用户理解和索引剪辑。视频剪辑时间轴支持剪辑排序和修剪，用户可以通过智能体或手动操作来完成这些任务。视频剪辑智能体是一个基于聊天的组件，用户可以与智能体进行自由格式的语言交互，获取剪辑辅助。

LAVE的后端系统采用OpenAI的GPT-4，智能体设计利用LLM的多种语言能力，包括推理、规划和讲故事。LAVE支持五种由LLM驱动的功能：素材概述、创意头脑风暴、视频检索、故事板和剪辑修剪。这些功能都建立在自动生成的视频库中每个剪辑的标题和摘要之上。

用户研究显示，无论是剪辑新手还是老手，都能使用LAVE制作出令人满意的AI协作视频。这项研究的六位作者中有五位华人，包括一作多伦多大学计算机科学博士生Bryan Wang、Meta研究科学家Yuliang Li、Zhaoyang Lv和Yan Xu、加州大学圣迭戈分校助理教授Haijun Xia。