成就了Sora和Stable diffusion 3的DiTs，究竟是啥

1,271 0 0

作者信息

【原文作者】 硅星人Pro
【作者简介】 硅（Si）是创造未来的基础，欢迎来到这个星球。
【微信号】 Si-Planet

文章摘要

【关键词】 Stable Diffusion 3、DiTs、流匹配、CNF、开源

本篇文章主要介绍了Stable AI发布的Stable Diffusion 3的两大特色：扩散transformers模型（DiTs）和流匹配（FM）。DiTs是一种基于transformer架构的图像潜变量扩散模型，它使用块（patches）的概念来生成图片，并通过条件图像生成任务接收外部条件信息。DiT block是DiTs的核心，包含交叉注意力、adaLN和adaLN-Zero三个小block，用于处理图像和条件信息。流匹配是一种高效的CNF模型训练方法，允许利用通用概率路径监督CNF训练过程，打破了扩散模型之外的CNF可扩展训练障碍。

Stable Diffusion 3与Sora模型非常接近，都是transformer模型，使用块，具有划时代的稳定性和优化。不同的是，Stable Diffusion 3是开源的，而Sora是闭源的。Stable Diffusion 3的开源特性为开源社区的开发者带来了希望。Stable AI的CEO提到，Stable Diffusion 3架构可以接受除了视频和图像以外的内容，暗示了未来可能的音频生成能力。

文章最后提到，Stable Diffusion 3的发布为使用人工智能创意设计的人带来了巨大的机遇，鼓励人们加入这个星球，见证硅基时代的发展。