作者信息
【原文作者】 Simon的白日梦
【作者简介】 建筑学在读博士Simon和AI创作的一些梦境，有时是画，有时是诗，有时是歌或其他，又或许不是梦。
【微 信 号】 simondaydream
文章摘要
【关 键 词】 OpenAI、Sora、Transformer、文生视频、扩散模型
OpenAI Sora 视频生成模型技术报告总结
OpenAI的Sora视频生成模型在多个方面达到了当前最优水平（SOTA），包括视频的保真度、长度、稳定性、一致性、分辨率和文字理解。Sora采用了一种将不同格式的视频统一编码成可由transformer架构训练的嵌入（embedding）的方法，通过引入类似扩散模型（diffusion model）的unet结构进行降维和升维过程中的加噪和去噪。Sora模型的规模非常大，使其具备了涌现能力，如在一定程度上理解真实世界的物理影响和因果关系。
与传统的基于小模型的视频生成方法不同，OpenAI采用了大模型的思路，通过准备大量的视频数据、使用多模态模型进行标注、编码成统一的视觉块嵌入，并利用大型网络架构、大批量训练和强大的算力进行全局拟合，从而提高模型的细节还原能力和智能涌现能力。
Sora的发布标志着OpenAI在构建世界模型——一个理解和模拟真实世界复杂因果关系的通用模型——的道路上取得的一个重要成就，但这并不是终点。
Sora发布的潜在影响
对于普通人（C端）
Sora的发布可能会开启独立创作者的黄金时代，使个人能够轻松制作短片，从而使有才华的人更容易脱颖而出。然而，创作门槛的降低也意味着故事的竞争将变得更加激烈。此外，XR产业和短视频推荐形态也可能因Sora而得到新的发展。
对于商业公司（B端）
所有从事AI视频生成的公司将面临挑战，但同时也存在机遇。OpenAI的成功证明了大模型方法的可行性，促使其他公司也可能采用类似方法。AI三维生成公司可能需要重新考虑其技术路线和商业逻辑。此外，Sora对算力的需求可能会给显卡公司带来新的机遇，同时也预示着算力领域竞争的加剧。
技术报告全文中英对照
报告详细介绍了Sora的技术细节，包括将视觉数据转换为统一表示的方法、Sora的能力和局限性的评估、视频压缩网络、时空编码块、扩展Transformer用于视频生成、可变持续时间、分辨率、宽高比的处理、语言理解、使用图片和视频进行提示、图像生成能力以及涌现的模拟能力等。Sora展示了在视频和图像生成、编辑、样式转换、连接视频以及创建无限循环视频等方面的强大能力，同时也展现了在模拟现实世界中人类、动物和环境方面的新兴能力。
原文信息
【原文链接】 阅读原文
【原文字数】 6078
【阅读时长】 21分钟
