Stable diffusion 3 正式开源

文章摘要

【关 键 词】 AI开源、文生图片、模型优化、多模态扩散、性能提升

Stability AI近日宣布开源其文生图片模型——Stable Diffusion 3 Medium（简称SD3-M）。该模型拥有20亿参数，在保证高推理效率的同时，对硬件需求较低，适合在PC、手机和平板等设备上运行。通过与英伟达、AMD的合作，SD3-M对RTX GPU、TensorRT以及最新CPU、MI-300X进行了优化，性能可提升最高50%。

SD3-M采用了多模态扩散变换器（MMDiT）架构，图片质量、排版、复杂文本提示和语义理解等方面表现出色。其预训练数据集包含10亿张图片，并在特定艺术风格和领域上，使用了3000万张图片进行微调及300万张偏好图片。因此，SD3-M在理解用户文本提示和嵌入图片文字方面，相较于前两代有显著提升。

SD3-M在线demo展示了其生成效果的多样性，如未来主义城市景观、宁静的海滩景色、热带雨林、老式餐厅、幻想世界和现代厨房等。用户可免费在线试用并无限生成图片，但需注意，目前SD3-M仅限于学术研究，若要商业化使用，需与Stability AI联系获取商业授权。

原文和模型

【原文链接】 阅读原文 [ 1065字 | 5分钟 ]
【原文作者】 AIGC开放社区
【摘要模型】 glm-4
【摘要评分】 ★☆☆☆☆

智谱AI

智谱AI是由清华大学计算机系技术成果转化而来的公司，致力于打造新一代认知智能通用模型。公司合作研发了双语千亿级超大规模预训练模型GLM-130B，并构建了高精度通用知识图谱，形成数据与知识双轮驱动的认知引擎，基于此模型打造了ChatGLM（chatglm.cn）。此外，智谱AI还推出了认知大模型平台Bigmodel.ai，包括CodeGeeX和CogView等产品，提供智能API服务，链接物理世界的亿级用户、赋能元宇宙数字人、成为具身机器人的基座，赋予机器像人一样“思考”的能力。