万帧？单卡！智源研究院开源轻量级超长视频理解模型Video-XL-2

AIGC动态3周前发布 almosthuman2014

228 0 0

文章摘要

长视频理解作为多模态大模型的关键能力之一，尽管OpenAI GPT-4o和Google Gemini等私有模型已取得显著进展，但开源模型在效果、计算开销和运行效率等方面仍存在明显短板。近日，智源研究院联合上海交通大学等机构发布了新一代超长视频理解模型Video-XL-2，该模型在多个维度上全面优化了多模态大模型对长视频内容的理解能力。Video-XL-2在长视频理解任务中表现出色，在MLVU、Video-MME、LVBench等主流评测基准上达到了同参数规模开源模型的领先水平。新模型显著扩展了可处理视频的时长，支持在单张显卡上高效处理长达万帧的视频输入，并大幅提升了处理效率，编码2048帧视频仅需12秒，显著加速了长视频理解流程。

在模型架构设计上，Video-XL-2主要由视觉编码器、动态Token合成模块（DTS）以及大语言模型（LLM）三个核心组件构成。视觉编码器采用SigLIP-SO400M对输入视频进行逐帧处理，将每一帧编码为高维视觉特征，DTS模块对这些视觉特征进行融合压缩并建模其时序关系，以提取更具语义的动态信息。处理后的视觉表征通过平均池化与多层感知机（MLP）进一步映射到文本嵌入空间，实现模态对齐。最终，对齐后的视觉信息输入至Qwen2.5-Instruct，以实现对视觉内容的理解与推理，并完成相应的下游任务。

在训练策略上，Video-XL-2采用了四阶段渐进式训练的设计，逐步构建其强大的长视频理解能力。前两个阶段主要利用图像/视频-文本对，完成DTS模块的初始化与跨模态对齐；第三阶段引入更大规模、更高质量的图像与视频描述数据，初步奠定模型对视觉内容的理解能力；第四阶段在大规模、高质量且多样化的图像与视频指令数据上进行微调，使Video-XL-2的视觉理解能力得到进一步提升与强化。

此外，Video-XL-2还系统性设计了效率优化策略。分段式的预装填策略（Chunk-based Prefilling）将超长视频划分为若干连续的片段，在每个chunk内部使用稠密注意力机制进行编码，而不同chunk之间则通过时间戳传递上下文信息，显著降低了预装填阶段的计算成本与显存开销。基于双粒度KV的解码机制（Bi-granularity KV Decoding）在推理过程中，模型会根据任务需求，选择性地对关键片段加载完整的KVs（dense KVs），而对其他次要片段仅加载降采样后的稀疏KVs（sparse KVs），有效缩短了推理窗口长度，大幅提升了解码效率。

在模型具体表现方面，Video-XL-2在MLVU、VideoMME和LVBench等主流长视频评测基准上全面超越现有所有轻量级开源模型，达成当前最先进性能（SOTA），相较第一代Video-XL实现了显著提升。在MLVU和LVBench上，Video-XL-2的性能已接近甚至超越了如Qwen2.5-VL-72B和LLaVA-Video-72B等参数规模高达720亿的大模型。在时序定位（Temporal Grounding）任务中，Video-XL-2也表现出色，在Charades-STA数据集上取得了领先的结果，进一步验证了其在多模态视频理解场景中的广泛适用性与实际价值。

在视频长度方面，Video-XL-2展现出显著优势。在单张24GB消费级显卡（如RTX 3090/4090）上，Video-XL-2可处理长达千帧的视频；而在单张80GB高性能显卡（如A100/H100）上，模型更支持万帧级视频输入，远超现有主流开源模型。在速度上，Video-XL-2仅需12秒即可完成2048帧视频的预填充，其预填充时间与输入帧数之间呈现出近似线性增长，体现了其出色的可扩展性。

得益于出色的视频理解能力与对超长视频的高效处理性能，Video-XL-2在多种实际应用场景中展现出很高的应用潜力。例如，它可广泛应用于影视内容分析、剧情理解、监控视频中的异常行为检测与安全预警等任务，为现实世界中的复杂视频理解需求提供高效、精准的技术支撑。