单镜头16秒720p高清视频一键生成，开源版Sora又有新惊喜了

AIGC动态6个月前发布 almosthuman2014

704 0 0

文章摘要

潞晨 Open-Sora 团队在 720p 高清文生视频质量和生成时长方面取得了突破性进展，能够无缝生成任意风格的高质量短片，并选择将其全部开源。通过他们的模型权重，可以生成各种酷炫的短片，如海浪和海螺的亲密接触、深不可测的森林秘境等。

潞晨团队的 Open-Sora 模型以其卓越的性能揭示了视频生成领域的广阔前景，他们的模型权重和训练代码已经全面开源。LambdaLabs 基于 Open-Sora 模型权重打造了一个数字乐高宇宙，为乐高迷们提供了极致的创意体验。潞晨团队深谙开源对于文生视频技术突破的加速度，不仅持续开源模型权重，还在 GitHub 上晒出了技术路线，让每个玩家都能成为文生视频大模型的掌控者。

在最新发布的技术报告中，潞晨 Open-Sora 团队深度剖析了本次模型训练的核心和关键。在上一个版本基础上，引入了视频压缩网络（Video Compression Network）、更优的扩散模型算法、更多的可控性，并利用更多的数据训练出了 1.1B 的扩散生成模型。视频压缩网络在空间和时间两个维度上分别进行压缩，既避免了因抽帧而牺牲视频流畅度的弊端，又大幅降低了训练成本，实现了成本与质量的双重优化。

Stable Diffusion 3 通过采用 rectified flow 技术替代 DDPM，显著提升了图片和视频生成的质量。潞晨 Open-Sora 团队基于 SD3 的研究成果，提供了一套完整的训练解决方案，包括简单易用的整流（rectified flow）训练、用于训练加速的 Logit-norm 时间步长采样、基于分辨率和视频长度的时间步长采样。这些技术的整合不仅加快了模型的训练速度，还显著减少了推理阶段的等待时间，确保用户体验的流畅性。

报告中还透露了更多关于模型训练的核心细节，包括数据清洗和模型调优的实用技巧，以及构建了更完善的模型评估体系，保障模型的稳健性和泛化能力。他们还提供了可以自行一键部署的 Gradio 应用，并支持调节输出的运动分数、美学分数和镜头移动方式等参数，甚至可以一键通过 GPT-4o 自动修改指令并支持中文输入。

潞晨 Open-Sora 的开源，为文生视频的创新和发展注入了强劲的活力，使用户从被动的内容消费者转变为积极的内容创造者。这一转型为企业用户解锁了自主开发文生视频应用的新技能，无论是打造沉浸式游戏、创意广告还是制作影视大片，文生视频技术的应用场景得到了指数级扩展。期待这股星星之火，能够点燃整个文生视频领域的创新激情，实现从点到面的燎原之势。