文章摘要
潞晨Open-Sora团队在视频生成领域取得了显著突破,推出了支持16秒720p高清画质一键生成的模型,并且选择将权重代码全部开源。这一举措不仅展示了团队在技术上的领先地位,还为开源社区带来了新的震撼。
Open-Sora模型能够生成各种风格的高质量短片,包括逼真的人物肖像和赛博朋克风格的动画镜头,甚至可以实现电影级别的变焦效果。
Open-Sora模型的开源地址为:https://github.com/hpcaitech/Open-Sora。通过该模型的权重,用户可以生成如海浪与海螺的互动、深林秘境等酷炫短片。
美国科技独角兽LambdaLabs基于潞晨团队先前开源的Open-Sora模型权重,打造了一个数字乐高宇宙,为乐高迷们提供了极致的创意体验。
潞晨团队深知开源对于文生视频技术突破的重要性,不仅持续开源模型权重,还在GitHub上公开了技术路线。
潞晨Open-Sora团队的技术报告详细剖析了模型训练的核心和关键。在上一个版本的基础上,引入了视频压缩网络(Video Compression Network)、更优的扩散模型算法和更多的可控性。
创新的视频压缩网络(VAE)在空间和时间两个维度上分别进行压缩,首先在空间维度上进行了8×8倍的压缩,然后在时间维度上进一步压缩了4倍。
最新的扩散模型Stable Diffusion 3通过采用rectified flow技术替代DDPM,显著提升了图片和视频生成的质量。
这套训练方案包括简单易用的整流训练、用于训练加速的Logit-norm时间步长采样和基于分辨率和视频长度的时间步长采样。
潞晨Open-Sora的开源为文生视频的创新和发展注入了强劲的活力,使用户从被动的内容消费者转变为积极的内容创造者。
原文和模型
【原文链接】 阅读原文 [ 2209字 | 9分钟 ]
【原文作者】 新智元
【摘要模型】 gpt-4o
【摘要评分】 ★★★★★