文章摘要
【关 键 词】 视频生成、AI技术、Colossal-AI、模型优化、开源项目
Video Ocean是一个新兴的视频生成平台，以其低成本和快速迭代能力受到关注，成功登上Product Hunt全球产品热度榜单第三。该平台支持多种视频生成方式，包括文生视频、图生视频和角色生视频。其背后的技术支撑是AI大模型训练推理系统Colossal-AI，该系统在GitHub全球AI训推系统开源领域指标中位列世界第一，已获得近4万Stars。
Colossal-AI基于PyTorch，通过高效多维并行和异构内存等技术降低AI大模型的开发与应用成本。针对类Sora视频大模型开发，Colossal-AI进行了多方面优化，显著提升了模型算力利用率，降低了成本。特别是在异步Checkpoint功能方面，Colossal-AI能够将10B量级视频生成模型的DiT模型、EMA模型、优化器的保存时间从300秒以上降至10秒以内，节省了高达97%的保存时间。
此外，Colossal-AI还优化了Zero内存/通信，通过改进ZeRO通信方式和使用bucket进行Zero-DP的通信，降低了内存拷贝的开销，并减缓了通信算子All-Gather和Reduce-Scatter的速度衰减。在数据加载优化方面，Colossal-AI通过预分配和缓存pin memory的机制，避免了在训练过程中调用cudaMallocHost，提高了数据从CPU移动到GPU的效率。
Colossal-AI还支持FP8混合精度训练，仅需一行代码即可对主流大模型获得平均30%的加速效果，并保证训练收敛性。同时，Colossal-AI针对VideoOcean模型支持多种序列并行范式，优化了Ring attention的通信，使用ND-ring应对复杂的硬件配置。对于高清视频、长视频的VAE，Colossal-AI实现了分块卷积和张量并行，完成了加速和内存优化。
为了回馈开发者，Colossal-AI提供了基于其技术构建的高质量项目和发布相关开源项目的GPU算力代金券奖励。这些项目包括微调、预训练模型、应用、算法论文等开源项目，旨在鼓励开发者利用Colossal-AI和OpenSora技术进行创新和开发。
原文和模型
【原文链接】 阅读原文 [ 1843字 | 8分钟 ]
【原文作者】 新智元
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★☆
