智源 Emu3 证明多模态模型新范式：只需基于下一个 token 预测

209 0 0

文章摘要

智源研究院于2024年10月21日发布了原生多模态世界模型Emu3，这一模型仅通过预测下一个token，就能实现对文本、图像、视频三种模态数据的理解和生成，无需依赖扩散模型或组合方法。Emu3在图像生成、视频生成、视觉语言理解等任务中超越了SDXL、LLaVA、OpenSora等知名开源模型，且无需扩散模型、CLIP视觉编码器、预训练的LLM等技术。

Emu3的核心优势在于其强大的视觉tokenizer，能够将视频和图像转换为离散token，这些视觉离散token可以与文本tokenizer输出的离散token一起送入模型中。模型输出的离散token可以被转换为文本、图像和视频，为Any-to-Any的任务提供了统一的研究范式。Emu3的下一个token预测框架的灵活性，使得直接偏好优化（DPO）可以无缝应用于自回归视觉生成，使模型与人类偏好保持一致。

Emu3的技术细节包括在语言、图像和视频混合数据模态上从头开始训练，使用与Aquila模型相同的语言数据，构建了大型图像文本数据集，并收集了涵盖多个类别的视频。Emu3在SBER-MoVQGAN的基础上训练视觉tokenizer，实现了时间维度上的4×压缩和空间维度上的8×8压缩。架构上，Emu3保留了主流大语言模型的网络架构，扩展了嵌入层以容纳离散的视觉token，并采用了多项技术提高训练的稳定性和性能。

Emu3的发布在社交媒体和技术社区引起了热议，被认为将彻底改变多模态AI领域，提供无与伦比的性能和灵活性。其开源灵活性将为开发者和企业解锁人工智能创新能力的机会，对于研究人员来说，Emu3意味着出现了一个新的机会，可以通过统一的架构探索多模态，无需将复杂的扩散模型与大语言模型相结合。Emu3的统一方法将带来更高效、更多功能的AI系统，简化多模态AI的开发和应用以及内容生成、分析和理解的新可能性。