模型信息
【模型公司】 月之暗面
【模型名称】 moonshot-v1-32k
【摘要评分】 ★★★★☆
作者信息
【原文作者】 甲子光年
【作者简介】 甲子光年是一家科技智库，包含智库、社群、企业服务版块，立足中国科技创新前沿阵地，动态跟踪头部科技企业发展和传统产业技术升级案例，推动人工智能、大数据、物联网、云计算、新能源、新材料、信息安全、大健康等科技创新在产业中的应用与落地。
【微 信 号】 jazzyear
文章摘要
【关 键 词】 AI、世界模型、Sora、V-JEPA、LeCun
在AI领域，世界模型的概念至关重要，它指的是机器对世界运作方式的理解和内部表示。最近，OpenAI发布了Sora，一个被定义为“世界模拟器”的视频生成模型，引起了广泛关注。然而，Meta首席科学家Yann LeCun（杨立昆）对此提出了批评，认为Sora的生成式技术路线注定失败。LeCun认为，自回归生成模型无法通往通用人工智能（AGI），并提出了自己的非生成式世界模型V-JEPA（Video Joint Embedding Predictive Architecture）。
OpenAI的Sora是一个高质量的视频生成模型，它通过分析视频来捕捉现实世界的动态变化，并利用计算机视觉技术重现这些变化。Sora采用了以Transformer为骨架的Diffusion Model，其效果验证了扩展法则与智能涌现依旧成立。然而，LeCun认为，Sora的生成式技术路线无法实现真正的世界模型，因为它无法处理高维连续的感觉输入中的预测不确定性。
Meta的V-JEPA则是一种非生成模型，通过预测抽象表示空间中视频的缺失或屏蔽部分来进行学习。V-JEPA采用了自我监督的学习方法，使用未标记的数据进行预训练，仅在预训练后使模型适应特定任务。这种架构在训练和样本效率上实现了显著提高。Meta已经将V-JEPA代码开源，供用户下载使用，而Sora尚未向普通用户开放。
LeCun的批评和Meta的V-JEPA模型提出了对AI世界模型的新思路。尽管LeCun对Sora的生成式路线持怀疑态度，但Meta通过开源V-JEPA，展示了其对“open的AI”的承诺。V-JEPA能否在大模型竞赛中占得先机，还有待市场和用户的检验。
原文信息
【原文链接】 阅读原文
【原文字数】 3473
【阅读时长】 12分钟
