与Sora一样能生成视频、图像，还能一次解读100万数据！

模型信息

【模型公司】 月之暗面
【模型名称】 moonshot-v1-32k

作者信息

【原文作者】 AI前线
【作者简介】 面向AI爱好者、开发者和科学家，提供大模型最新资讯、AI技术分享干货、一线业界实践案例，助你全面拥抱AIGC。
【微 信 号】 ai-front

文章摘要

【关 键 词】 大世界模型、LWM、多模态、Ring Attention、开源

本文介绍了加州大学伯克利分校研究人员开源的大世界模型（LWM），这是一种多模态自回归模型，具备文本、音频、图像和视频的生成与理解能力。

LWM能够一次性精准解答100万tokens的视频和文本，具有强大的检索和生成能力。

LWM的核心技术是Ring Attention，它通过环形注意力机制解决了长序列处理的内存和计算复杂度问题。

LWM的训练包括语言模型预训练和多模态预训练两个阶段，使用了大量公开数据集进行训练。

目前，LWM在GitHub上获得了超过6000颗星的关注。

原文信息

【原文链接】 阅读原文
【原文字数】 1456
【阅读时长】 5分钟